所谓的死链, 指的是那种会返回四十点四或者是五百点零或者五百点三等这类异常性的 HTTP 状态码的 URL 页面。这一类问题在网站的日常运营过程中属于出现频率比较高的技术性麻烦。
如果对于死链的处理工作做得不够恰当, 那么就会直接产生负面作用, 导致域名被搜索引擎收录的效率降低下去, 同时会让权重的稳定性出现波动的问题。
具体受影响的大小程度如何, 是和死链的绝对数量多少存在密切关联的, 也是和死链占全站 URL 总数的比例大小存在密切关联的, 还是和死链在站点内部的分布位置好坏存在密切关联的。其中需要特别注意的是, 核心页面如果出现了死链现象, 它所蕴含的危害性要比边缘页面出现的危害性大得上很多。
死链对域名收录的具体影响机制
抓取效率出现下降的情况。搜索引擎中的蜘蛛程序在进行抓取的作业过程中, 一旦遇到那些已经失效的死链, 就需要付出额外的精力去记录这类异常的状态信息, 还要同时调整后面继续爬取时的策略。
如果在一个域名里面, 死链所占的比例超过了百分之十的话, 搜索引擎就会做出判断, 认定这个站点内容方面的维护质量有所下降, 从而主动地减小抓取的频率, 这就直接导致了新发布的页面在收录方面会出现延迟的现象。
域名的可信度出现了下降, 大量存在的无效链接会导致搜索引擎对站点的有效管理工作产生质疑, 因此会降低对该域名下面所有正常收录页面的优先级, 这种情况会使得新的网页页面长时间处于无法被纳入索引的状态, 同时也会让已经存在的网页排名出现较大的波动。
内链的权重出现了流失的情况。这是因为站内内部链接把权重和信任信号传递到了那些已经失效的死链页面上, 可是那些能正常运作的有效页面却无法接受这些信号。这样一来, 就形成了一个属于空白的、没有实际作用的东西, 可以把它称作叫做权重的真空状态。这种情况会削弱整站的站点在权重分配方面的结构。
正确的死链处理方法
1. 执行301重定向。对于一些还具有业务价值或者外部引用比较多的死链情况, 可以通过对服务器设置301重定向规则这种方式, 把原来的URL永久指向到那些内容与它相近的有效页面上面去, 以此来保证已有的权重以及外部链接所产生的相关价值能够进行正常的传递。
2. 返回为标准的404。针对那些已经不再具备任何保留价值的超链接地址, 应当返回HTTP 404这一状态码, 同时还需要搭配一个内容简明的404提示页面, 借此方式来引导用户去访问那些真正有效的内容。
这一点需要特别加以注意, 就是要全力避免出现一种叫做“软404”的情况，所谓软404, 指的是HTTP状态码表面上仍然返回的是200, 可是页面上的具体内容却又在提示事物不存在, 这种处理方式很容易对搜索引擎进行判断造成误导。
3. 要主动去提交清理的内容。需要定期利用搜索引擎站长平台所提供的那个叫做无效URL提交或者叫做死链检测的工具。然后把那些已经确认了是无用的URL进行批量提交, 以此来帮助搜索引擎快速的更新自己的索引内容, 同时也能减少那些没有任何意义抓取的次数。
4. 先把那些问题修好, 然后再去进行后续的处理。
有一部分的链接变成了死链, 这是由技术方面发生故障引起的, 比如服务器出现了配置上的错误, 数据库的连接出现了异常, 还有内容分发网络的缓存功能失效了等等, 这时候应当优先去排查并且修复那些在最底层的、基础的问题, 这样可以避免出现那种错误的判断, 即把那些本来还可以被恢复正常的页面, 错误地标记为需要永久删除的对象。
操作注意事项
避免一次性去批量处理非常大量的那些无效链接, 建议一定要分批次进行操作, 每处理完五十到一百条链接之后, 就先去观察一下搜索引擎在收录数据上面发生的变化, 确认一点异常情况都没有出现之后, 再接着继续后续的工作。
另外需要建立起一个月度检测机制, 使用站点地图工具或者是自动化脚本来定期扫描整站所有的 URL 地址所对应的 HTTP 状态码, 从而形成一份无效的链接清单, 并且对这些清单的处理进度始终进行跟踪。我们以诸如gname.xin这样的中小型网站的情况作为例子来看一看这件事。
因为死链的总的数量在一定的范围内是有限度的。所以我们需要先把核心业务的页面。以及主要的导航路径上的URL的可用性保障好。至于那些处于边缘位置的页面的死链呢, 是可以选择适当的延后一些再去处理的。这样做的目的就是把那些有限的资源集中投放到对整体收录情况能够带来最大影响的那些关键路径上去。
总结
死链这个问题, 在域名收录管理的环节里, 算是基础的问题, 处理它的核心原则是这样的, 就是对于有效的页面, 要保住它的权重, 对于无效的页面, 要尽快清理掉, 对于异常状态的页面, 要先做修复, 然后再去处理, 把对死链的监控工作, 放进日常的站点维护流程里去, 这样才是保障了域名收录稳定性的必要操作。
