死链这个问题, 它会直接导致域名的收录数量发生变化, 同时也会影响网站的权重状况,当搜索引擎的爬虫在进行抓取操作的时候龙南市就业服务平台, 如果遇到了非常大量的诸如404或者410这样的无效页面存在, 那么它就会去判定这个域名下面所包含的内容质量实际上是在下降的, 所以接下来就会减少对于这个特定域名的收录频次, 在非常严重的情况下,甚至还会导致那些已经存在的页面从索引里面脱离出去脱落掉死链处理对域名收录的影响, 这一系列的情况发展下去, 这是需要让所有的网站管理员都必须给予高度重视的一个重要问题所在。
死链影响收录的具体机制
搜索引擎在评估域名单的收录情况的时候, 它并不是只看单独的某个页面上的内容, 而是基于这个下面所有页面整体的健康程度来做判断。那些已经失效、无法访问的死链, 带来的负面的影响主要体现在这三个不同的层面上。
爬取效率下降: 爬虫给每个分派到的域名设定的抓取预算本身就很有限, 那些无效的链接会去占用原本的抓取次数, 同时它们也不会生出任何有用的内容, 这样一来就使得正常的页面被索引起来的周期变得越来越长。
网站的域名信任度降低。具体来说, 如果死链的数量占总链接的比例超过了某个特定的界限, 这个界限通常是百分之十到百分之十五之间, 搜索引擎就会把这个网站当成是很少好好维护的那种站点来对待, 因此该域名的整体内容被收录的速度也会变慢。
链路传导效应就是内部出现死链的时候会阻断爬虫, 沿着站点里面的链接去深入抓取的这条路径, 没有被链接到的正常页面也就失去了被发现的入口, 就会导致收录的数量持续减少。
死链的正确处理方法
在处理那些死链的时候, 并不仅仅是简单地把相应的页面给删除掉那么简单, 这个事儿呢, 是需要按照下面这一套具体的流程来一步一步去操作的。
1. 定位死链这一步需要用到网站诊断工具, 比如提到 gz88.cn 会提供的收录和死链检测模块, 或者利用搜索引擎里的 site 指令, 来批量排查那个域名下面所有的 URL, 看看哪些 URL 会返回 404、410、500 这样的错误。
2. 判断处理策略：
对于存在替代内容的页面, 将其进行301重定向至对应的新页面。
如果这个页面是没有可以替代的内容的, 并且也没有价值的话, 就应该直接返回410这个状态码。
当出现临时性的不可用情况, 比如接口正在进行维护的时候, 应该返回503这个状态的代码。同时还要设置有Retry-After这样一个响应头。
3. 当处理工作完成之后, 把那个在Sitemap里面已经没有了的网页链接全都给去掉, 然后再重新提交到这个负责搜索引擎资源的平台上。
4. 清理内部链接: 全站需要排查一下那些指向死链的内部链接, 把它替换成有效的页面, 或者选择移除掉, 这样做是为了避免爬虫再去踩坑。
5. 提交收录请求的意思是说, 对于那些已经被修复好的重要页面, 你要主动地把它们提交给搜索引擎去请求收录,这样做可以加速索引恢复的进程。
常见误区与注意事项
你千万不要把出现错误或者无法打开的链接死链处理对域名收录的影响, 全部一律通过301重定向的方式指向到网站的首页里面去。因为这样做的话, 搜索引擎很可能就会认为你们是在进行所谓的“链接堆砌”这种不规范的行为, 结果反而会造成你们的权重下降。所以要求每一个需要进行301重定向的目标地址, 都应该在语义上保持相关性的特点。
别只是在服务器那边把文件给删除了就不管了, 事情得处理到位, 一旦删完了要是没有去配好那个返回的正确状态码, 在有些特定的情况下面, 还是会被那些爬取网页数据的机器人给当成是出了什么毛病的情况给记录下去的。
一定要进行定期的检查动作, 千万不要只是仅仅去做一次性的所谓的清理动作。因为那些刚刚上线的新出的内容、还有经过改版之后的旧的地址链接这些地方, 它们都特别容易或者都有可能产生新的失效链接也就是死链。所以这里非常建议大家每个月去执行操作一次针对这种死链的全面扫描程序。
外部死链指的是其他站点指向你的404页面的情况, 这种情况我们无法直接控制。但是, 只要我们在Sitemap和搜索引擎平台上保持信息干净, 就不会对自身收录效果的评估产生影响。
总结
所谓死链, 它就是域名收录过程里的慢性毒药。这种东西在少量存在的时候, 它并不会马上带来损失。但是如果长期积累下来, 它就会持续把收录效率拉低, 同时也会让域名的权重不断下降。
我们要坚持的核心原则是这样的: 一旦发现就要去处理, 一旦处理了就必须形成闭环, 在完成了闭环之后, 还要再次进行提交操作。我们需要把死链的控制率保持在一个特定的范围里, 也就是5%以内。
只要做到了这一点, 并且配合着正常的主站点地图维护以及主动的收录提交工作, 那么域名的收录量就能够保持稳定状态的增长。站长应当把死链检测这个事情纳入到日常的seo巡检流程之中去, 而不是说非要等到问题真正出现了之后才开始采取被动应对的行动。
