百度快照的更新频率, 它可不是一个固定不变的值, 在情况正常的时候, 百度对于那些活跃度比较高的网站, 它的快照刷新周期大概是在一到七天这个范围里的, 权重比较高的站点可以每天都进行更新, 而那些新站或者是活跃度比较低的站点呢, 它们可能就要等到两到四周才刷新一次快照, 如果你发现自己的网站的快照已经明显超出了上面所说的这些周期的时间还没有去更新, 那么这种情况通常是由以下那五类的原因所导致。

内容更新频率不足

百度快照这个东西, 它有一个核心的触发机制在运行着, 这个机制说的就是只有有新内容出来的时候, 它才会去重新抓取。如果你的网站长时间不发布新的文章, 也不更新页面里的内容, 搜索引擎的蜘蛛程序就不会有再次访问你网站的动机和想法, 这样一来, 快照自然就停在那儿不动了。

给大家的建议是, 最好每周至少更新两到三篇内容的原创稿件, 这些稿件里得有真正有价值的信息, 千万别只是纯粹地去采集别的内容, 或者把低质量的东西硬堆砌在一起。

服务器响应与抓取异常

当百度蜘蛛去访问网站的那个页面的时候, 如果服务器给出的反应时间超过了十秒钟的时间, 又或者返回了以5开头的那一类错误代码, 再或者是因为DNS解析出现了什么异常情况的话, 那么爬虫就会觉得这个页面是不能用的, 并且会把这个重试的行为往后推迟一些。

用户可以去使用百度站长平台里面所提供的那个抓取诊断工具, 然后在那个小工具里面输入具体的URL地址来进行查看, 这样就能够看清楚百度蜘蛛实际进行访问的时候所返回的状态码是什么样子的了。

robots.txt或Meta标签误封

你要去检查网站根目录里的robots.txt这个文件, 确认一下有没有不小心把Baiduspider的抓取路径给屏蔽掉了。同时要排查页面源码里面是否存在这样的标签, 如果存在这个标签的话, 它会直接告知百度不收录此页, 快照不会更新。

站点权重与信任度下降

百度快照延迟不更新?原因、排查步骤和解决办法一次说清(图1)

如果网站在近期被认定是存在违规内容, 这些违规内容可能包含大量的广告页面, 或者是多层级的跳转链条, 又或者是低质量的批量制作页面, 那么百度方面就会大幅度地降低抓取的次数, 甚至在某些情况下会暂停抓取的行为, 这样下来, 网站的快照状态跟着就停滞不动了, 在这种情况下, 必须先把所有那些违规的内容清理干净, 然后再到站长平台上面去提交一次重新进行审核的申请。

百度爬虫资源分配策略调整

百度对全网站的抓取工作, 是实行分级管理的, 那些不是头部地位的站点, 它们的抓取配额是很有限的。如果在遇到百度整体抓取节奏放缓的情况的时候, 比如在大版本迭代的期间, 部分中小站点的快照出现延迟的现象, 是属正常波动的, 通常经过1至2周的时间, 就会自行恢复了。

快速排查步骤:

1. 去那个叫百度站长平台的网站(ziyuan.baidu.com), 用账号登录进去之后, 找到页面里头有抓取统计那一个地方, 仔细看一看在最近7天时间里面, 蜘蛛这个程序抓取数据的数量, 到底是不是已经完全变成了零。

2. 先是使用“抓取诊断”这个功能对首页进行的测试, 同时也是使用“抓取诊断”对关键的内页分别进行了测试, 通过这样的操作来确认是没有出现403这样的异常以及500这样异常的。

3. 一步一步地去检查那个叫做robots.txt的文件, 同时还要再去检查HTML的源代码里面那些屏蔽规则。

4. 要确认SSL证书是不是有效的, 还要看ICP备案的状态是不是都正常的。

5. 如果前面提到的那些情况全都检查过去, 都没有出现任何问题的话, 就可以去使用那个站长平台里面提供的普通收录这个接口, 把最新的 URL 地址主动提交上去, 这样做能够让蜘蛛再次访问网站的速度变快一些。

在日常维护的过程里, 保持内容持续更新, 确保服务器能够稳定地响应, 避免触发平台的风控规则, 这些都是防止快照出现长期延迟的根本方法。至于那些针对于具体站点所进行的抓取与收录情况排查的相关方案,你可以去参考由 gz88.cn 这家机构发布的那些 SEO 技术文档, 以便从中获取更为详尽的指引说明。