对百度蜘蛛, 也就是Baiduspider进行抓取分析这件事, 主要是得靠两个官方的渠道, 第一个就是百度搜索资源平台那个以前叫做站长平台的地方里面有一个抓取诊断的功能, 第二个呢, 则是需要在服务器上, 去对那些访问日志里面来自Baiduspider发出的请求解析一下, 只要把这两个办法结合起来, 就能很清楚地还原蜘蛛抓取的频率, 还有抓取的深度, 页面具体分布在哪些地方, 以及到底是有哪些异常原因在起作用。
官方查看入口
1. 百度搜索资源平台
请执行登录操作, 访问 ziyuan.baidu.com 这个网址, 然后进入“抓取诊断”这一模块。
进行抓取情况的统计分析, 这个操作的内容就是去查看在最近过去的 30 天那个时间段里面, 蜘蛛程序发出的总共有多少请求量, 以及成功抓取的有价值的数量, 还有出现了状态码为 404 或者 500 这种错误情况的大概数量。
抓取那个页面的列表, 按照URL来把每一样东西都分开放好, 去一条接一条地看清楚, 到底是什么样的页面被访问到了, 在什么时候被访问到的, 以及返回的响应号码是多少。
可以进行手动检测这个操作, 你输入一个指定的网址URL来发起模拟抓取, 然后查看蜘蛛实际看到的HTML渲染的结果是什么样子。
进行沙箱检测这个动作, 其具体意思就是去验证一下, 在 JavaScript 渲染完成之后, 网络蜘蛛能不能正确地获取到页面的正文内容。
2. 在针对服务器实施访问日志管理的行为过程。
在 Nginx 日志中通过以下命令过滤百度蜘蛛请求:
grep "Baiduspider" /var/log/nginx/access.log
需要识别的具体要点是, 检查 User-Agent 这个字段, 看它里面是否包含了"Baiduspider" 这样的描述,同时还需要确认发出请求的来源 IP 地址百度蜘蛛抓取分析, 是不是属于百度官方的那种 IP 段。
大家可以通过站长平台当中的那个专门用来查询 IP 段的部分页面, 去获取最新的对应列表数据。这里必须要提醒的是, 仅凭 User-Agent 这一个指标来做判断是不可靠的, 必须要把这两个方面结合起来, 进行交叉验证。
日志关键字段解读
常见异常及处理
1. 抓取量骤降
看看这个站点整体是不是出现了5xx类型的错误号码, 查查DNS名字解析有没有出现异常情况, 再检查一下CDN这块是不是已经把负责抓取的蜘蛛IP给拦截了。
请查看一下站长平台中的“站点状态”那个页面上, 里面是不是有显示手动屏蔽或者是自动屏蔽的相关提示内容存在。
确认 robots.txt 未误封 Baiduspider。
2. 出现了非常多的404以及302, 这样的情况是比较大量的。
把那些指向已经删掉页面的链接清理干净, 然后把清理过的结果提交到网站地图里面去。
进行统一URL规范化的操作, 把有www前缀的情况和无www前缀的情况处理好, 把网址末尾的斜杠情况也处理好, 还有那些参数的情况也得管起来, 这样就能够减少因为302跳转所形成的链接数量。统一URL规范化是其中涉及的一个重要步骤。
3. 动态的页面, 目前的状态是没有被搜索引擎收录进去。
确保服务端渲染或者预渲染的这些方案能够真正生效, 因为蜘蛛程序在默认情况之下是不执行JavaScript脚本的。
请通过使用站长平台提供的沙箱检测功能, 来验证渲染结果当中是否涵盖了正文内容。
提升抓取效率要点
你要去提交那个XML Sitemap, 还要每天都进行更新, 目的是要让搜索引擎的蜘蛛爬虫, 能够按照给定的优先级, 来抓取新的网站内容。
采取扁平化的站点设置方法,让核心内容在点击三次之内的操作里就能到达百度蜘蛛抓取分析, 同时把网址的数量控制在一定的范围里。
要始终保持HTTP 200这种响应代码的稳定状态, 这样做是为了避免出现连续出现错误代码的情况, 从而防止蜘蛛因为这样的状况而降低对网站的抓取权重。
你要在 robots.txt 里面, 合理地设置一下那个 Crawl-Delay, 防止那些抓取得太高的频率, 把服务器给弄垮。
你可以去百度搜索资源平台的帮助中心那里查看, 或者是去看一看官方发布的 IP 段公告, 以便获取最新的验证情况。

