核心结论:百度蜘蛛抓取是域名收录的必要条件,但绝非充分条件。 被Baiduspider抓取这件事, 仅仅意味着页面进入了百度的待审队列, 最终是否会发生收录的情况, 是由百度的算法对页面的价值、站点的权重以及内容的质量进行综合评估这个行为所决定的。
抓取并不等于收录, 在抓取和收录这两个情况之间, 隔着一条完整的解析过程、评估过程和判定过程的链路。
一、百度蜘蛛如何发现并抓取你的域名
百度蜘蛛（Baiduspider）通过以下途径发现URL：
链接发现: 对于已经收录的页面来说, 其中的内部链接和外部链接都指向了新的网址。
主动提交是这样一个流程, 即网站的站长通过百度搜索资源平台（ziyuan.baidu.com）, 向系统提交网址链接, 或者提交网站地图。
随机巡检就是说要, 对那些已经知道的域名进行回访, 而且, 这种回访是要按着一定的时间周期来进行的。
当蜘蛛进行访问的时候, 它会去模拟一个真实用户所发出的那些请求, 然后把网页的HTML源代码下载下来, 接着从中提取出正文内容、所有链接以及结构化数据, 抓取频率这个指标是和站点的历史权重还有内容的更新频率成正比例的, 也就是说历史权重比较高的站点可能会被每天抓取好几次, 而那些历史权重比较低的站点可能就要好几天甚至过几个星期才会被抓取一次。
二、从"被抓取"到"被收录"的完整链路
等抓取这档子事情忙活完了, 那个网页就会进到百度索引库那边等着被处理的队伍里面去, 然后接着要过下面这么几道关卡。
1. 在解析阶段这个工作里面, 我们要把正文部分给提取出来, 还要把那一些模板用的代码给删除掉, 同时呢, 还得去识别那些具有明确结构的标签。
2. 质量评估阶段: 算法会来进行综合判定, 具体内容就是判断内容的原创程度怎么样, 信息密集程度处于什么水平, 以及页面的整体使用体验好不好。
3. 在收录判定阶段: 通过则写入索引, 用户搜索可见；未通过则搁置或拒绝。
整个周期通常为1～4周, 这个时间长短并不是固定的, 它会根据站点权重和内容质量出现上下浮动。拿gname.xin这类新注册的域名来说作为例子, 如果在第一次提交之后内容质量达到了标准, 那么一般会在2到3周左右的时间里, 首次出现在百度的搜索结果里。
但是如果某个站点长时间不再更新, 或者其本身的质量比较薄弱, 那么很有可能会出现一个情况, 就是即便过了很多个礼拜的时间, 它也仍然停留在被抓取但还没有被收录的状态中。
三、为什么蜘蛛抓了却不收录
这其实是大家问得最多的一个问题, 造成这种现象的具体原因, 主要有以下几点表现。
内容重复或低质, 大量的采集行为会被处理, 模板化的文案也会被算法直接过滤掉。
站点权重不足, 这会导致新域名, 或者是没有外链也没有历史积累的站点, 面对更高的收录门槛。
页面结构问题是, 关键内容是被JavaScript渲染的, 并且是存在大量冗余标签的, 这会导致解析失败。
触发风控: 如果在一个比较短的时间里面进行了大量的新建页面这一类操作, 或者是出现了异常的外链等情况的话, 可能会导致搜索引擎的蜘蛛程序对抓取的优先级进行降低。
行业限制: 针对一些比较敏感的类目, 比如说医疗行业和金融行业这样的情况, 是需要进行额外的资质审核的。
四、提升收录效率的关键操作
五、如何自查抓取与收录状态
查抓取这个操作是这样的, 你去百度搜索框里面输入那个代码 intitle:site yourdomain.com, 或者你也可以去资源平台的那个地方, 去看一下“抓取统计”的信息。
查收录: 你可以去搜索, 也就是用那个“site:yourdomain.com”这样的方式, 然后看到的结果数量, 其实就代表了你当前被收录的页面一共是多少个。
查看没有被收录的具体原因。在资源平台当中会有一个专门显示未被收录内容的列表, 那个列表里面会给出具体的提示语, 比如此时会显示内容重复, 或者显示质量过低等具体情况。
总结: 蜘蛛抓取这件事, 它解决的是百度搜索网站知不知道你的页面存在这样一个问题, 而收录这件事呢, 它解决的是百度搜索网认不认可你的页面有价值这样一个事情。
这两个方面它们是一种递进关系, 并不是一个等同关系。网站管理员应该把主要的精力放在内容质量的建设上面, 还需要去建设网站的权重上面, 而不是说仅仅去追求抓取量这么一个简单的目标。
