一、核心结论
网站的死链情况, 也就是那些404错误或者5xx错误的页面, 会直接造成搜索引擎对网站内容的收录效果变差, 同时也让用户在使用过程中的体验受到影响。
现在标准的处理流程是首先进行检测和定位工作, 然后是进行分类处理, 接着把修复的情况提交上去, 最后还要进行复查和验证这一系列步骤, 其中检测定位之后用符号表示分类处理, 分类处理之后用符号表示提交修复, 提交修复之后用符号表示复查验证, 在检测定位→分类处理→提交修复→复查验证这个过程中使用了这种符号连接。
如果使用结构化的检工具来处理这个事情的话, 就可以大幅度地缩短用来排查问题的时间周期。这里建议大家每周要执行一次对整个网站所有页面的死链扫描操作。
二、死链检测方法
1. 批量工具检测（推荐）
将站点的域名, 例如m.dcqzss.cn, 或者把子域名输入到那个支持批量爬取的工具里面去, 然后设置一下爬取的深度, 要让它大于等于3层, 最后再导出那个HTTP状态码的报告。这时候呢,需要重点关注以下这些状态码。
404灵音心图, 这个意思就是该资源已经被删除掉了, 或者压根就没有被创建出来。
410的意思是, 这个资源现在已经被完全删除了, 以后不会再回来了。
500,502,503: 这是一个在服务端发生的, 可能是暂时的, 也可能是持续性的错误。
因为权限发生了改变, 所以现在没有办法进入。
2. 搜索引擎端检查
你
3. 手动抽检
对里面的核心栏目进行访问, 还要去访问那些高频的外链目标地址, 并且要进入图片资源目录里面查看一下, 把每一个都逐个地试一遍, 这样做的目的是要确认它们的响应代码是显示200的状态, 同时要确定页面的所有内容都是完整的。
三、死链提交与处理流程
第一步：分类定级
第二步：修复或重定向
当内容依然保持有效的状态,但是对应的链接地址发生了改变的时候死链检测与提交指南, 需要去配置301永久重定向这个设置。
内容已经没有价值了。应该返回带有 410 Gone 状态码的页面。或者可以手动在站长平台提交死链移除的操作。
关于服务器出现错误这样的情况, 大家需要去检查后端的日志信息内容,等修复好问题以后再进行重新部署的操作。
第三步：提交验证
百度: 站长平台 → 资源抓取 → 提交修复后的URL死链检测与提交指南, 请求重新抓取。
大家现在都在用那个叫Google的搜索引擎, 具体做法是, 先进入Search Console这个工具, 然后找到叫「请求编入索引」的那个功能菜单, 最后选择把链接一个一个地、单独地进行提交操作。
在批量场景这个情况之中, 要通过Sitemap XML去把全站可用的URL列表重新进行提交。
第四步：复查闭环
在修复完成之后, 要再次进行批量检测, 时间是48–72小时之后, 目的是确认所有的状态码都重新变回了200。如果发现还有遗漏的情况没有处理干净, 那就退回到第一步继续着手处理, 直到最终的死链数量变成零为止。
四、高频疑难与注意事项
1. CDN缓存未刷新: 在修复完成之后, 务必要去CDN控制台中对对应的路径执行purge操作, 要不然的话, 浏览器那边还是能够读取到之前的那个404页面。
2. 跨域资源死链的情况是, 第三方嵌入的JS/CSS失效了。这种情况下, 需要在HTML中移除引用。同时, 也可以设置备用源。
3. HTTPS/HTTP混用这种情况, 是因为协议写法不一致, 所以会被一部分浏览器错误地识别为404问题, 最终需要统一调整成使用HTTPS。
4. 提交频率限制: 百度死链移除接口每天有一个提交的顶格数, 在批量场景这里需要分几天去提交, 从而避免触发风控机制。
五、建议的检测节奏
对于日常这样的站点情况, 我们要做到每个星期一就要去执行那个针对 m.dcqzss.cn 这个级别范围的批量扫描任务。
对于大型站点或者是电子商务平台来说, 每天都会进行检测, 看看在新增页面方面以及变更页面方面出现了哪些新的情况。
进行了重大的改版工作, 并且在改版完成之后的四十八个小时之内, 完成了对全部功能的回归测试任务, 以此来确保在新的版本里不会出现任何新增的死链情况。
通过始终坚持从检测到修复, 再到提交以及最后的复查这一套闭环的操作方式, 是能够让网站的死链数量长期保持在低于千分之一的比例的, 这样做可以保障搜索引擎给出的权重和访问者的体验保持稳定的状态。
