所谓的死链, 也就是那种会弹出404错误、500错误或者根本没办法打开的页面, 这个情况是搜索引擎在爬取你域名的时候经常能碰到的现象。
你可以去查看一下搜索引擎官方给出的那些技术文档, 里面写得很清楚, 如果没有去妥善处理这些死链问题的话, 是直接会让那个域名的健康评分被拉下来的, 然后就会进一步影响到这个域名下面挂着的所有页面的收录效率。
死链影响域名收录的三层机制
第一层的情况是抓取预算被缩减的。要知道, 搜索引擎对每个域名分配的抓取频率都是有限的。当爬虫程序在运行的时候, 会多次遇到死链或者没有响应的链接, 也有可能碰到那种重定向环路的状况。
在这种情况下, 它就会判断这个域名的资源质量是下降了。基于这种判断, 它会主动地去降低对该域名的抓取频率。于是呢, 新发布的页面想要被收录, 所需的时间周期就会从正常的数天时间, 延长到需要花费数周的时间了。
到了第二个层面, 这属于权重稀释以及惩罚的范畴, 一旦死链占的比例超过了百分之 twenty , 那么就会被看作是那种低质量域名的一个信号, 然后就会触发在算法层面上的收录降权这样的操作, 在这个情况下, 不仅仅是这些死链本身不会被进行收录, 而且是在同一个域名下面的正常的页面, 也会从检索索引里面被逐步地移除掉。
到了第三层, 也就是用户信任度有所下降这一情况的时候, 搜索引擎会考虑到把用户的停留时长以及跳出率纳入对于域名的评估范围里面去, 然后死链页面会导致体验中断, 在负面信号累积起来之后, 就会进一步压缩域名在结果页里面的展示权重。
正确的死链处理方式
要处理那些死掉了的链接, 就必须按照各大主流搜索引擎所提供的开发者指南里面的内容来进行操作, 而具体应该做的是哪一些标准动作呢, 下面就是相关的说明部分。
1. 可以替代这个页面, 也就是去使用301永久重定向, 把指向转到语义最贴近的那个有效页面上头。
打个比方来说，在gname.xin这个域名下面, 如果有某个旧产品的页面给下线了, 那就得把这个原来那个URL, 通过301重定向的方式, 挪到同类型的新产品页面上去。这样一来, 权重就能平稳地迁移过去, 完全不会产生收录断点的问题。
2. 如果没有替代的页面, 就返回标准的410 Gone状态码, 这个做法比返回404要更优先。因为410状态码可以非常明确地告诉爬虫说, 这个资源已经被永久删除了。
这样一来, 搜索引擎在抓取一到两次之后, 就会把这个信息从索引里面移除。这样做的好处是, 能够避免让爬虫反复地去爬取那些不存在的地址, 从而节省宝贵的抓取预算。
3. 进行批量清理操作的时候, 可以通过站点地图也就是 sitemap.xml这种方式, 主动向搜索引擎提交那些已经被删除的页面对应的列表内容, 并且还需要配合使用诸如 Search Console 这样的相关工具来专门提交移除请求。
这么做的目的就是为了加速让那些无效链接从搜索引擎索引之中被清除出去。
死链修复后恢复收录的关键节点
在把该修补的事情全部弄好之后呢, 去执行一下提交那个网站地图更新的操作。
对2至4周之内该域名收录页面数量的变化状况进行监控, 以便确认是不是呈现出恢复的这种发展趋势。
我们要继续做好后续站点的维护工作, 要把死链率控制在5%以内, 这个目标是通过定期开展站内链接检查来实现的。
为了避免在短时间里大量建设那些会和过期的死链接产生关联的新页面, 所以需要防止搜索算法把这些行为判定为是在翻新内容, 从而造成收录被延迟。
常见误区
把那些已经失效的链接所在的网页, 设置为返回空页面并且状态码是200, 这样搜索引擎就会把它们视作质量很低的内容页面, 造成的伤害比直接使用404或者410还要大得多。
应该使用302临时重定向来替代301, 因为302不会传递权重, 爬虫会反复进行访问的操作, 这就增加了抓取的负担。
要是只把那些已经变成无效状态的网站文件给删掉, 但是并不去修改网站内部还指向这些失效文件的链接的话, 那么这些残留下来的、仍然在指向错误位置的内部链接, 就会继续制造出更多新的死链, 最后就形成了一个所谓的“一个死链接着又变出一个新死链”的死循环。
把死链这个东西, 给正确地、及时地处理好, 这本来就是维护域名收录健康状况的一个很基础的、必须得做的操作。所以建议大家, 每个季度呢, 就去执行一次对整个站点的链接进行的全面检查和审核的工作。
要把从发现死链那个动作开始, 一直到把这个死链给修复完毕的那个整个的时间周期, 给压缩在七天以内的这个范围内。这样做的话, 能够最大可能地去减少对域名收录情况产生的那些不好的影响。
