死掉的链接这种东西, 会直接影响到你域名的收录情况。搜索引擎在进行抓取工作的时候, 一旦发现里头有那么多的无效网址, 比如说那些返回404、410或者5xx响应的页面, 它们就会认定你这个站点的内容健康度是在往下降了。
紧接着, 它们就会降低对你站点的收录频率, 也会降低你各个页面的权重。只要你处理得得当, 这种不好的影响可能就在几天之内就能恢复过来；但是要是你没处理好, 那你这个域名的整体收录量, 就可能一直往下掉, 严重到极点的话, 甚至得要花费好多个个月的时间, 才能把那种信任给重新建立起来。
死链影响收录的具体机制
搜索引擎在评估网站的时候, 不仅仅看内容质量这一块, 还要看可达性这个方面。这种情况具体表现出来就是有三层影响:
1. 抓取效率下降。因为爬虫给每一个域名分配的抓取预算都是有限度的, 如果大量的网址链接返回了404错误或者是发生了超时现象, 这样就会把原本可以用来抓取有效页面的资源都消耗掉, 结果就是导致新内容被收录的周期变长, 时间拉长很多。
2. 权重分配稀释。 如果站内链接体系里, 有指向死链的锚文本的话, 原本应该传递到有效页面的权重就会漏掉整站PageRank分布被打乱。
3. 站点的健康度评分下降了。 因为当那些没法访问的失效链接在整体链接中的占比超过了某一个固定的界限, 也就是说大家普遍都觉得要达到百分之五以上就是需要警惕的状态了, 搜索引擎就会把这个网址给贴上“维护得不好”的标签, 然后把它在搜索结果里显示的机会和顺位都往后排。
正确的死链处理方法
按URL的价值分三类处理：
存在可以替代的页面的这种死链:需要把设置301重定向到这个最相关的、目前还在正常使用的页面。例如说, 当旧版本的产品页面停止提供服务以后, 应该做301跳转到新版本的对应页面。这样做的好处是, 可以继续保持原有的权重, 并且能够消除掉那些死链接存在的问题。
确无替代页面的死链: 需要返回 410 Gone 这个状态码, 这里头的好处是会比使用 404 更优, 因为 410 就是明确地告诉搜索引擎说这个页面是永久不存在的, 然后爬虫在收到这个信号之后, 会更快地把这个内容从索引里去移除掉。
外部引用那些没法去改的、已经死掉连接, 这种情况得通过搜索引擎后台提交一份死链报告, 像是百度站长平台这种工具也好, 或者是Google Search Console这种地方也罢, 目的是请求系统主动把这些链接从索引里面给剔除出去。
与此同时, 还需要去更新那个站点里的XML类型的Sitemap。把所有那些已经失效了的URL都从里面去掉。这样一来, 就能确保提交给搜索引擎的那个地图和现实中的真实状况是一样的了。
常见错误处理方式
返回200但页面内容为空白或"页面不存在"提示: 搜索引擎仍会收录该URL, 死链问题没有解决。
将所有死链统一指向首页这种做法, 会导致首页链接过度堆砌, 从而稀释首页的整体权重, 并且与用户实际进行的搜索意图完全不相匹配, 最终使得网站体验变得极差。
就是完全不进行处理、也根本不进行监控, 这样死了的链接就会跟着时间的推移不断地累积起来, 最终一开始少量的问题会变成系统性的毛病, 而要把这些修好的成本就会变成按指数级增长的。
预防与持续监控
死链这个问题, 通常是因为内容做了改版、产品下线了、或者链接重构了的。建议建立以下机制:
1. 每月通过使用站点检测工具来对全站进行扫描, 这样就能识别出新出现的死链, 并且要在当周内处理好这些死链。另外, 可以在gname.xin这个域名管理平台上同步查看各个子域名的URL状态分布情况, 从而及时发现异常情况。
2. 在进行内容更新操作或者进行页面迁移工作的时候, 需要先把301重定向配置给完成好, 然后再把旧页面从网站上去掉, 千万不要采取那种先把旧页面的内容删掉、再去补上新的页面这种错误的顺序。
3. 定期提交Sitemap并监控搜索引擎的抓取日志，关注4xx/5xx比例是否异常。
我们来做个总结, 死链这个情况其实本身就并不可怕, 真正让人感到可怕的原因是面对它的时候选择不去进行任何处理, 或者是进行了非常混乱且错误的处理方式, 如果能够依据前面所提到的那些方法去一步一步地系统执行下去, 那么在这个域名收录量方面, 仅仅只需要花费2～4周的时间就可以让其重新恢复到一个正常的抓取节奏上面去。
