百度蜘蛛, 也就是那个Baiduspider进行抓取的操作, 与域名的被收录, 这是两个完全分开的环节。你可以理解为, 抓取仅仅是收录的必要条件, 但它绝对不是充分条件。当蜘蛛完成抓取时，这仅仅只意味着百度方面已经发现了你的页面所在之处。
至于这个页面最终是否会被纳入到索引库中, 说白了也就是是否完成了所谓的收录工作, 这完全是取决于后续所涉及的质量审核流程, 以及基于各种因素所做出来的综合判定。
在广大站长群体中存在着一个非常普遍的现象, 就是把蜘蛛曾经抓取过某个页面的事实, 简单粗暴地等同于该页面一定会被收录, 这正是导致误解的最为常见的原因所在。
百度蜘蛛如何抓取你的域名
百度蜘蛛发现并抓取网站, 是存在着这样的三条路径的。
主动提交: 站长通过百度搜索资源平台提交sitemap或者指定URL, 触发蜘蛛定向抓取。
这是被发现为被动的状态, 也就是蜘蛛在那些已经被搜索网站收录的网页里头找到了外面的链接, 这些链接是连着新的域名的, 所以它顺着这个线索就爬进去了。
定时巡检, 根据百度方面的做法, 它是要按照域名的权重以及更新时的频率这两点, 来给抓取周期进行分配的, 所以对于那些权重比较高并且更新得比较频繁的站点来说, 抓取的间隔会变得非常短, 而对于那些权重比较低或者是新建立的站点, 百度就可能很长的一段时间不会去抓取它们了, 这种情况有可能要好几个星期才会被动地去抓取一次页面内容。
以gname.xin这类新注册域名为例的情况。如果站内不存在那些已经被百度收录的内链。同时站外也没有权威外链去指向它的话。那么蜘蛛在经过较长的时间之后可能根本“发现不到”它这一情况是存在的。所以抓取行为压根就不会被触发。
从抓取到收录的判定流水线
在蜘蛛把内容全部都抓取到位以后, 整个页面接下来就会一步一步地进入四个不同的阶段里面去。
1. 进行去重的操作, 同时实施过滤的措施, 也就是把那些重复出现的内容找出来, 或者是那些质量很低的模板页面找到出来, 又或者是那些由程序大规模批量生成、完全没有任何实际意义的页面全部识别出来, 然后直接把它们丢弃掉, 让它们进入不到资料库里去。
2. 对质量评估进行打分, 这个打分的依据是综合页面内容的原创性、信息增量, 以及用户体验指标, 这里的用户体验指标包括加载速度、移动端适配和死链 rate 这些内容。
3. 索引入库: 这个操作是通过在质量阈值的页面上进行写入, 从而把数据写到百度索引库里的, 到了这个时候, 使用site加上你的域名这种方式, 就可以查到相关信息了。
4. 对搜索结果里的页面进行排序展示, 具体办法是, 索引库中的这些页面, 会依据它们自身的相对重要程度和权威性的强弱, 来共同决定在最终结果名单里的先后位置的。
最关键的卡点出现在第2步, 抓取页面成功这一行为仅仅意味着百度爬虫已经访问过该网页, 若后续的质量评估环节未能达标, 那么该内容便无法被纳入百度数据库中进行索引收录, 这就使得对应的域名在百度的整个体系机制里面仍然保持着未被收录的既定状态。
影响域名收录的3个核心环节
内容质量门槛: 百度对于那种纯导航的网站, 以及那些采集来的低质网站, 还有大量使用模板做出的页面, 在收录方面是非常保守的。在新的域名上线之初, 核心页面必须保证有五百字以上的原创内容, 并且这些内容要有信息上的增量。要防止出现只有页面存在, 却没有任何内容的情况。
站内链接结构: URL的层级不宜超过3级, 重要页面要能从首页或者一级栏目页得到直接的内链访问, 从而消除那些被称为“孤岛页”的情况。
外部权威信号: 它包括权威站点给的自然外链, 它也包括品牌词搜索量, 它还包括社交媒体上的提及。这些因素共同构成了域名信任度的信号。这些信号会直接影响爬虫分配给该域名的抓取配额。它也会直接影响收录的优先级。
实操要点
1. 在新域名上线之后, 我们要优先去利用百度搜索资源平台来提交核心的URL链接, 除此之外, 我们还要保持着每周一至两次的频率来进行内容更新, 这样做的目的是为了要维持好搜索引擎的抓取频率。
2. 去检查那个robots.txt文件的内容情况, 要保证别把Baiduspider的UA给错误地封禁掉。
3. 在上线大概一个月到两个月的这个时间段里面, 需要比较定期地使用包含site冒号gname点xin的那个方式来检查自己网站的收录状态。如果发现抓取日志显示的情况是正常的, 但是长时间了也没有被搜索收录, 就应该优先地去排查内容质量还有页面结构相关的问题。
4. 要避免采用批量创建外部链接或者购买链接这种强行提升外部信号的手段, 如果这么做的话, 百度的反作弊系统将这样的域名标记为低信任等级, 反而会导致收录被抑制。
一句话总结: 抓取的意思是进入页面, 收录是被搜索引擎承认, 所以把时间和精力放在提高内容质量和优化站点结构上面, 这种做法, 比起去纠结爬虫蜘蛛有没有过来访问, 要更加有效得多。
