核心结论是，百度这个蜘蛛它并没有一个统一的、固定的去抓取的一个频率。 实际上那个抓取的次数, 它是被网站的权重还有更新的频率, 内容的质量, 站点结构这些多个因素给动态地决定下来的。
新站到初期那个阶段, 通常每一天大概会被抓取一到五次左右, 要是权重稳定下来了之后, 那日子上的抓取量, 能达到几十次甚至几百次那么个数量级, 那个间隔时间, 是从几分钟到几个小时这种不等的情况发生着。
01.影响抓取频率的5个核心因素
1. 网站权重和收录的这个情况是这样的, 收录的页面数量如果越多, 整体权重就相对越高, 那么搜索引擎蜘蛛访问这个站点的频次也就会变得更高。通常情况下, 权重处于3等级的站点, 它每天被蜘蛛抓取的流量数量, 是要比权重只有1的站点高出一个数量级的。
2. 内容更新频率就是站点会保证每天都去更新那些原创作品, 这样的话网络蜘蛛回访这个站点的间隔时间就会变得比较短一些了。相反地, 如果那个站很长时间都不做更新操作的话, 它被抓取的间隔时间就会慢慢地变长, 可能会拉长到好几天甚至好几个星期那么久。
3. 内容质量与原创度: 如果拥有高原创性, 而且信息密度很高, 那么就会触发蜘蛛进行更密集的抓取；相反, 如果是重复内容, 或者是低质量的页面, 就会被降权, 这样会导致抓取频率跟着下降。
4. 站内链接结构: 采用扁平化的URL结构是至关重要的, 合理分布内链这一点同样非常关键, 这样做有助于搜索引擎蜘蛛快速发现新页面, 从而提升抓取效率, 如果嵌套层级过深, 或者死链数量过多, 那么就会导致有效抓取量降低。
5. 服务器响应与可用性: 当服务器的响应时间变得超过了3秒的时候, 蜘蛛就会减少访问频次。同时, 当服务器频繁地返回5xx错误的时候, 蜘蛛也会拉大重试间隔。
02.如何查看自己网站的实际抓取频率
百度搜索资源平台: 你需要去登录后台, 也就是以前的那个站长平台, 然后到"抓取异常"这个板块还有"网站性能"这个板块里面去看, 在这里面你可以看到蜘蛛请求量的变化趋势, 也能看到抓取状态码都是什么样子分布的, 因为这是官方给出的最权威的监控入口。
服务器访问日志: 分析Nginx/Apache日志里User-Agent包含“Baiduspider”的记录。统计每日的请求次数。统计时间间隔。还可以精确到抓取的单个时间戳。
site命令指的是, 要在百度搜索框里面输入“site:你的域名”这个内容, 要去观察收录页面的数量的变化情况, 从而来辅助判断抓取是不是处于活跃状态。
可以借助像gname.xin这样的一些第三方SEO监控工具来操作。这样做能够额外获取到蜘蛛IP校验等更加细化的数据内容。同时, 抓取时段的分布情况也能被统计出来。这些信息的存在便于大家进行交叉验证。其目的是为了确保日志的真实性得到确认和核实。
03.提升抓取频率的操作要点
04.常见疑问
问：新站多久会被蜘蛛首次抓取？
答: 在提交完成验证工作之后, 通常会在1到7天的时间范围内出现第一次被抓取的情况；如果超过了14天依旧没有任何被抓取的记录, 那么就建议您检查一下robots.txt这个文件是否存在误屏蔽Baiduspider这样的情况, 并且还要确认您的服务器对于像220.181.x.x这类蜘蛛IP是否设置了访问限制。
问：抓取频率突然大幅下降是什么原因？
回答说, 大家应该首要把注意力放在三个问题的核查上, 第一件是看看最近是不是有大量内容的排名因为某些原因被降低了权重, 这个情况可以通过查看网站内部的信件消息来确认, 第二件是要检查服务器那边是不是持续不断地出现了五百点几类型的错误, 第三件是要核实机器人排除标准文件或者是超文本传输协议响应头信息有没有被配置错误, 导致系统把它们当作了不许抓取的内容来处理, 把这些可能性都逐一排除掉之后, 大家可以再观察三到五天的时间, 在多数情况之下, 相关问题的发生频率是会自动慢慢恢复到正常水平的。
问：能不能通过主动提交让蜘蛛"随时来"？
回答是, 无法保证。因为提交URL只是主动操作, 这样做只能缩短发现周期的时间, 最终抓取节奏仍然是由权重、质量等等这类因素综合决定的。所以建议把主动提交当作是辅助手段来使用, 而不是把它当作唯一的依赖项。
以上的这些东西信息, 都是拿百度那个官方搜索资源平台上面公开的那些规则, 再加上在服务器日志里面实际测过的那些数据给整理出来的, 具体的那些数值, 因为不同的站点它的那个体量大小不一样, 所以是在一个可以解释得通的一个上下波动的范围里面的, 建议大家还是要以自己那边资源平台后台那里边实时出来的一些数据为准的那一种情况。
