核心结论是, 如果死链, 也就是那些返回404或者410状态码的失效页面, 长期不被处理的话, 搜索引擎会逐步降低对该域名的抓取频率和收录优先级, 这样就直接会导致域名整体的收录量下降, 所以及时处理死链这件事, 是维护域名收录健康最基础的操作。
一、死链对域名收录的三层影响
1. 这就导致爬虫抓取效率变低, 因为爬虫在域名内部如果碰到很多死链的情况, 它会耗费大量的时间在那些没有用的页面上, 所以去抓有效的新内容的次数就少了, 新页面被收录的时间周期也就变长了。
2. 会拉低站点的质量评分, 要是死链的占比一直都很高呢, 那就会被判定为站点维护能力不足, 搜索引擎对那个域名的信任度就会下降, 收录策略也就变得保守了, 表现就是新页面的收录变慢了, 已有的页面排名也会有波动。
3. 就是要把内部权重的传递路径给截断, 这是因为网站里面的链接体系出了毛病, 出现了死链的情况, 导致断裂了,这样一来死链处理对域名收录的影响,那些还有的有效的页面就没法拿到完整的链接权重来进行传递了死链处理对域名收录的影响, 这就间接地影响了它们被搜索引擎收录的状态, 同时也影响了它们在搜索结果里的排名。
二、死链的标准处理流程
1. 你需要去做定期的检测工作, 你可以去利用一下那个叫Webmaster的平台里面的抓取日志, 或者是去定期校验一下那个sitemap还有站内的链接是什么样的情况, 每个月的至少次数要完成一次全量的排查动作, 把所有失效的URL都需要进行标记处理。
2. 对事项进行分类, 并且进行处置。
对于那些已经处于永久删除状态且当前也不再需要的页面,系统应该设置为返回410这一状态的编码龙南市就业服务平台, 以此来明确告知搜索引擎, 这些特定的网页内容已经完全从服务器上被移除掉了。
如果页面是临时性的失效或者是被误删除了的这样的一种情况的话, 那么在对它的内容进行相应的修复操作之后, 就可以让状态码恢复到200的这个状态。
原来的页面已经合并了或者迁移到了一个新的地址, 你要做的是设置一个301重定向指向目标页面, 这样才能保留权重传递的那个链路。
3. 在批量处理完成之后, 要去Webmaster平台那里, 把更新好的sitemap给它提交上去。然后还要去申请对关键的页面进行重新抓取。这么做就是想要让收录状态的恢复速度变快一些。
三、必须避免的三个误区
第一个误区是去把那些已经无法访问的死链页面进行设置, 让它们返回200这个状态码, 可是页面显示的内容却是空白的或者只是写着几句提示信息, 搜索引擎在遇到这种情况时, 会认定这是一个质量很低的页面, 这样做对收录造成的伤害程度, 其实要比直接让它返回404或者410这些标准错误码的情况还要更严重一些。
第二个常见的错误观点是, 很多人认为一次性地批量删除那些已经失效的链接是完全没问题的, 他们甚至懒得去设置任何重定向操作。
如果在非常短的一段时期内, 服务器突然产生出大量的 404 错误页面返回给访问者或爬虫, 这种行为很容易引发系统异常检测机制的关注。正因为这种异常的触发, 最终会导致这一大批相关的网页直接被整体地从搜索索引里面彻底抹掉。
存在一个常见的认识偏差, 这种现象就是大家所说的误区三, 其具体的内容是对于302临时重定向所产生的那种逐渐积累的负面效果重视程度不够。
那些在很长时间里面都没有得到妥善解决的302转发情况, 会使得专门负责爬取网页的网络蜘蛛产生一种错误的判断, 觉得被指向的目标地址处于不稳定的状态, 然后就会逐步地调低对这些特定区域进行抓取工作的优先级别。
四、日常维护建议
我们要把死链管理纳入域名运维的固定流程之中, 对于那些日更新量比较小的站点, 需要每个月进行一次全量的排查, 并且对于日更新量相对较大的站点, 则需要每周检查一次, 如果在近期发现了域名的收录量出现了明显的下滑情况, 就需要优先去排查一下, 看是否存在有未处理的死链的集中区域。
拿像
第三个指标是, 每个季度都要对历史重定向链路进行一次复查, 以此来确保链接既没有多余的部分也没有断裂的问题。如果能把上面这些动作固定成日常常规的操作流程, 就可以最大程度地去避免死链给域名收录带来的那些不好的影响。
