核心的结论是百度蜘蛛抓取是域名被收录的必要条件, 但这不是充分条件, 蜘蛛抓取只能够说明百度来了你的网站, 而收录则是百度经过算法评估之后, 决定把页面纳入到搜索引擎的索引库当中百度蜘蛛抓取与域名收录关系大城新闻网，这两个事情之间是前后递进的关系, 并不是等同之间的关系。
百度蜘蛛抓取在做什么
百度蜘蛛（Baiduspider）这个东西, 它是百度那边安排的一个专门用来自动爬取网络数据的应用程序, 它会在网上头按照既定的时间规则去拜访各个网站, 把它上面存在的文字信息都给读一遍, 然后把里面出现的网址链接全部提取出来, 接着再去对它的整体架构进行一番详细的分析。
用户可以前往网站首页所提供的站点地图进行查看, 也可以依据已经得知的外部链接来发现新的网页内容。
去把页面的html代码下载下来, 然后对其中的标题、正文内容以及在meta标签里面包含的那些信息进行解析和处理。
把页面里面的那些链接还有外在的那些链接都给弄出来, 然后呢百度蜘蛛抓取与域名收录关系，再接着往下一轮的抓取队列里面进行那个加上。
对检测响应速度进行查看, 并且看看robots.txt里的限制情况, 同时也要确认一下HTTP状态码具体都有哪些。
新上线的域名是指像gname.xin这样的站点, 也就是刚刚完成了注册和解析工作的新网站。这类站点通常是在提交网站地图之后的1到3天里面, 被搜索引擎蜘蛛首次抓取到。
然后呢, 后续它被抓取的频率究竟怎么样完全取决于几个因素, 第一个因素是这个站点自身的权重有多少, 第二个因素是内容更新的快慢以及频次多高, 第三个因素则是外部引用关系的数量是大还是小。
域名收录需同时满足的条件
百度对“收录”这个词语的定义指的是页面被纳入了百度搜索索引库里面, 然后用户还能够通过关键词来实现检索操作。对于一个域名来说, 它要完成收录这一步骤的话, 需要同时满足这些条件:
1. 这个可抓取性的状态是, 百度蜘蛛程序能够进行正常的访问操作, 系统中不存在403或者503这类错误代码, 同时并没有被安全的措施给彻底封禁掉。
2. 页面的内容是具有一定质量的, 这一点体现在页面上具备原创的、有价值的正文部分, 而且这个页面不是一个空壳子或者是一个纯粹进行信息采集的网站。
3. 技术合规: HTTP的状态码属于正常的范围, 没有出现大面积的重复内容, 站点的结构十分清晰。
4. 主动提交的意思是说, 你要去百度资源平台也就是ziyuan.baidu.com这个地方, 先去把那个网站的域名验证一下, 然后把那个网址给交上去, 这样就能快点进到它的那个处理队列里去了。
5. 对于时间窗口来说, 新的网站通常需要保持持续且稳定的更新状态, 这个过程往往需要等待一到四周的时间之后, 第一批的网址才会真正地被收录进去。
从抓取到收录的完整链路
蜘蛛进行抓取动作, 随后使得页面被置入于待审核队列之中, 接着执行算法评估工作以核查内容质量、原创以及合规情况, 倘若审核顺利通过, 便将其数据写入索引库, 这一过程通常被称作收录。
抓取操作已经成功完成, 但是页面却没有被收录在内, 这种情况出现的高频原因。
内容被判为低质或采集拼接
当前这个页面是没法通过百度这边的安全审核还有合规性检查的。
新域名处于算法沙盒观察期
当服务器的请求来源标识为Baiduspider的时候, 那个服务器它返回了一个让人没想到的、不符合常规的错误信号代码。
站长实操要点
新站在上线之后的第一时间里面去完成在百度资源平台里面的域名验证工作, 并且还要把网站地图还有核心网址这些都提交上去。
一定要保持频率, 每周至少要发布2至3篇原创性的内容, 这样做的好处是给蜘蛛提供稳定的抓取信号。
要去检查那个robots.txt文件, 然后要确认一下里面是不是存在那种把Baiduspider错误地屏蔽了的情况。
应该用“site:你的域名”的方法来定期查看收录进度, 不要仅仅凭借“蜘蛛来过”这种说法就判断已经收录。
可以把百度蜘蛛抓取当成是进门的意思, 同时把域名收录理解为被图书馆正式上架的状态。虽然进了门, 但这并不代表一定就会上架, 中间还需要通过编辑的审核这一步骤。站长需要完成的事情, 是让进门和上架这两个环节全部都保持通畅的状态。
