现在很多人想知道, 搜狗蜘蛛在进行抓取的时候, 它的默认抓取频率并不是一个永远不会改变的固定数值。这个频率会跟着网站权重来动。它也会跟着内容更新的频率来动。它也还会跟着页面整体的质量来动。下面这些内容就是关于核心规则的详细说明。同时这也提供了一些实际操作方面的指导方法。
搜狗蜘蛛抓取频率标准
根据搜狗站长平台公开规则的情况是, 不一样层级的站点的抓取时间的周期是这样的。
对于新收录的网站, 指的是那些上线时间在零天到三十天之间的网站, 系统会每天触发一到两次的抓取操作, 不过在每一次抓取的环节, 所获取的数据量是比较少的。
稳定更新站点, 它的权重在2到4之间, 每过4-8小时, 就会触发一次。
高权重的站点, 这里的权重指的是5及以上的这种情况, 那么每过1个小时到2个小时的时间段之后, 就可以触发相关的过程了, 如果是首页这个级别的页面, 那么速度可以更快一点, 可以达到分钟这样的时间级别了。
对于那些长期没有进行更新以及权重处于较低水平状态的网站, 搜索引擎会大约每间隔7到30天的时间才会去抓取一次。
现在, 咱们来说说这个被称为搜狗蜘蛛的玩意儿, 它的User-Agent具体是哪些个情况呢。其中有一个是Sogou web spider, 这个是对应着PC端来说的。
还有一个叫做SogouApps的, 这个是针对移动端而言。最后还有一个叫SogouCheckSpider的, 它是专门用来作为验证蜘蛛使用的。
查看搜狗蜘蛛实际抓取频率
1. 您可以登录搜狗站长平台, 也就是zhanzhang.sogou.com这个网址。进入之后, 请找到并点击“抓取频次”这一模块。在相应的界面中, 您可以直接查看到近30天内各个页面的抓取次数相关记录。同时, 您也可以看到这些页面被爬取的具体时间记录。
2. 从服务器访问日志里面, 把那些User-Agent里包括有“Sogou”这一词儿的请求过滤开来, 接着去统计每天一共出现了多少次, 还有每小时又出现了几次。
3. 先在站点后台用SEO插件生成XML地图, 然后去观察搜狗地图抓取日志里那些推送的情况还有响应时间。
提升搜狗蜘蛛抓取频率的核心方法
1. 保持日更节奏, 连续30天每日发布原创内容, 搜狗将抓取周期从周级缩短至日级。
2. 在搜狗站长平台提交站点地图, 然后勾选每日更新选项进行推送。
3. 优化内链结构这一件事情要做成这个样子, 那就是从首页出发到到达任何一个页面为止, 中间最多只需要点击三次链接就够了, 这样做的目的就是为了把网络爬虫在抓取网页的过程中产生的深度损耗给降低下来。
4. 你需要控制死链率, 因为如果死链率超过百分之五的话, 会显著降低搜狗对于网站的抓取优先级, 所以你得定期去清理那些返回404状态码的页面。
5. 我们启用 Gzip 压缩技术, 并且使用 CDN 加速服务, 这么做是为了降低单页加载时间, 从而使搜索引擎蜘蛛在有限的抓取配额里面, 能够抓到更多的页面。
6. 检查robots.txt, 确认没有错误地把Sogou web spider和SogouApps给封掉。
高频疑难问题
Q：搜狗蜘蛛连续多周不抓取，怎么办？
首先要先去搜索那个“site:你的域名”, 来看看是不是被降权了, 如果你的收录量突然变少了, 那你得去排查一下有没有违规的内容。其次呢, 你要检查一下服务器的响应速度如果超过三秒钟页面还没有反应的话搜狗就会直接放弃收录的。
你 also 可以借助 gz88.cn 这个网站的SEO诊断工具来快速地检测一下你站点的健康状态还有蜘蛛能不能爬得到数据以此来解决瓶颈环节的问题。
Q：搜狗与百度蜘蛛抓取频率差距大正常吗？
A: 这种情况是完全正常的, 因为搜狗整体的抓取配额比百度少, 在相同权重的条件下, 搜狗的抓取次数大概是百度的百分之六十到百分之八十左右。如果两者之间的差距超过了百分之五十, 应该优先去检查一下robots.txt文件, 看是否对Sogou搜索引擎做了额外的限制操作。
Q：如何区分搜狗正常蜘蛛与伪装爬虫？
A: 在站长页面的“蜘蛛IP”那里, 搜狗官方公布了白名单里的IP段, 只要是没在白名单里的IP, 就算UA里面标了Sogou, 也应当直接被封禁。
关键数据速查表
上述提到的这些数据, 是根据搜狗站长平台目前所正在使用的规则来整理的, 具体的数值是多少, 要以平台发布的最新公告的内容为准。
