百度收录机制是网站在搜索结果中当中展现的完整流程, 核心分为三个阶段: 抓取、索引以及展现。百度爬虫即Baiduspider先进行网页抓取工作, 然后经过质量评估环节后生成索引数据, 最终由排序算法决定该内容是否能够在搜索结果当中予以展现。
一般情况下正常站点在网站上线之后到首次被收录这个阶段需要花费7至14天的时间, 内容质量较为偏低的站点则可能超过30天的时间都尚未进入索引环节。
抓取阶段：收录的第一道门槛
Baiduspider这个东西, 会去查看网站的robots.txt文件以及meta标签里面写的robots指令, 然后来决定是不是允许进行抓取。对于新上线的网站来说, 应该要主动通过百度搜索资源平台来提交sitemap或者是URL, 这样的话, 爬虫就会优先去抓取已经提交了的那些地址。
具体的提交路径是这样的: 先去百度搜索资源平台, 然后点击普通收录, 接着选择URL收录或者是Sitemap。在你把信息提交上去之后, 爬取程序的抓取工作一般会在24到72个小时之内完成第一次。
一些网站,比如说gname.xin这些平台大城群众说事, 提供了功能可以帮助大家一键生成那种符合标准的sitemap文件。这么做能够方便站长一次性地把很多URL都提交上去。这样做的目的是为了方便大家批量地操作地址链接的事情, 从而减少因为手工去一个一个弄而容易产生的遗漏情况出现。
索引与展现：质量评估决定去留
一旦抓取得成功, 百度就会对网页进行多维度的质量评估, 这个评估包含了文本的原创程度、页面的结构是否规范, 还有外部链接的权重等等情况, 通过了这些评估之后的网页才会进入索引库, 然后由排序模型来决定展示的位置以及排名的先后, 如果网站的内容重复率太高, 或者存在着大量的软链接, 又或者是搞关键词堆砌这种操作的话, 就可能会被降低权重, 甚至有可能不会被收录。
影响收录速度的五个核心因素
1. 站点权威性这一项情况, 是体现在几个方面之上, 这些方面包括ICP备案完成这个事实, 也包括HTTPS协议部署这个事实, 最后还包括历史权重积累这个事实。
2. 内容是质量, 原创的正文章节、规范的标题和meta描述、关键词密度控制在2%至8%。
3. 主动推送这种提交方式能够实现接近实时的抓取, 而sitemap更适合用来进行批量提交操作, 不过常规抓取需要花费的比较长的周期。
4. 更新频率要保持每周3至5次的稳定更新, 这样做可以避免在长期空置之后集中发布内容。
5. 外部链接方面, 自然产生的、来自高权重的域名的这些外部的链向, 是可以加快索引的生成的过程的。
常见问题与排查路径
提交之后, 如果发现一直没被收录, 应该怎么办呢? 首先, 要去百度搜索资源平台, 利用它的抓取诊断工具,来确认一下搜索引擎的爬虫是不是成功访问了你的目标页面。其次百度收录机制,需要检查一下 robots.txt 这个文件百度收录机制, 看看它是不是误把一些关键目录给屏蔽了。
最后, 还要排查一下页面内容是否存在这样的情况, 即是否严重依赖于大量 JavaScript 代码进行渲染, 从而导致搜索引擎的爬虫没办法直接获取到页面的正文内容。
如果那个站点在连续30天的时间里都没有被收录的话, 那么就必须检查一下服务器的响应速度, 从而确保服务器能够在2秒这个时间段之内返回HTTP 200这样的一种状态码。
百度收录机制的本质, 就是抓取、评估、索引然后排序这样的一个标准化流水线。站长只要做好技术可抓取性还有内容质量把控这两件事, 再加上主动提交这一件事, 就可以把收录周期压缩到最短的时间去。持续关注百度搜索资源平台的官方公告, 这就是应对机制更新最可靠的办法。
