人们现在能够直接看懂的普通话书面语是这样说的, 百度收录机制这个说法它是指搜索引擎把网站上的内容全部纳入到自己内部的索引库里面的一种完整过程, 这个过程的核心部分一共分成了三个阶段, 分别是抓取阶段, 索引阶段以及收录阶段, 一个网站从正式上线开始到最后被用户通过搜索找到, 通常所需要的时间一般是七到三十天左右, 具体来说需要多少天还是要看内容的质量怎么样, 要看更新的频率高不高, 还要看服务器的响应速度快不快这些因素的共同影响。
收录三大阶段
1. 抓取（Crawl）: 百度蜘蛛（Baiduspider）会通过外链, 或者站点地图（sitemap.xml）, 或者是站长主动推送来获取URL信息, 然后下载并解析页面源码。
2. 索引（Index）: 这一步是对抓取来的内容去重, 还要评估质量, 并进行结构化解析, 通过校验的页面就写入百度索引库。
3. 收录排名: 索引库里面的页面会依据相关性、权威性以及时效性这些因子来参与排序, 最后就会呈现在搜索结果里。
抓取机制说明
我们要确定抓取优先级, 具体来说, 首页要比内页具有更高一级的优先程度, 对于那些更新频率处于高位的內容, 在抓取的时候应当给予优先处理的待遇。
关于抓取频率这个事情, 我们来看一下具体情况, 新站初期大概一天会访问一到两次, 成熟站点看质量好坏, 可能就一天多次了。
触发这个通道的方式包含多种情况, 一种是进行外链的发现, 还有一种是提交网站地图, 再就是借助百度搜索资源平台来进行主动推送, 另外也会发现在robots.txt协议所允许的范围之内的一些链接并实现自动发现的过程。
在操作的时候，我们受到了robots.txt规则的限制, 单IP并发请求的数目被设有一个上限, 如果服务器响应时间超过3秒, 就会降低这个URL抓取优先级。
收录周期与关键影响因素
对于新站, 如果它的内容质量是稳定的, 并且服务器的响应也是正常的, 那么它的正常周期就是, 首批的收录大概需要花费7天到14天的时间, 而大规模的收录则大概需要花费30天的时间。
促进优化的因素包括: 每天都稳定地发布原创作品, TDK完整而且规范, 内链结构清晰, 启用HTTPS协议, 并完成移动端的适配工作。
导致延缓的原因包含以下情况, 例如大量采集或者存在重复内容, 过度依赖JS渲染, 服务器频繁返回5xx错误百度收录机制龙南市就业服务平台，没有提交sitemap, 以及关键路径被robots.txt所屏蔽。
就拿gz88.cn这个站点来作为参考例子, 它是先在百度资源平台那里提交了主动推送, 然后大概过了10天的时间, 就完成了第一批页面的收录工作, 后续在更新页面之后, 平均只需要花费2到3天的时间, 这些页面就能进入索引库了。
高频疑问解答
Q1：网站上线较长时间仍未被收录，如何排查？
依次进行检查, 看服务器在应对
Q2：主动推送后多久生效？
把链接地址发出去后, 大概在1个小时到2个小时这个时间段里, 搜索引擎的爬虫程序会把它抓到。但是呢, 想要这个页面真正进入搜索结果的索引系统里头去, 中间还得多过一个质量评估的环节。一般情况下, 这个过程需要花费1天的时间, 最晚到7天就能完成了。
Q3：页面已被收录但搜索不到百度收录机制，是否正常？
这是正常的状况。收录仅仅表示网站已经被抓取并进入了收录库里面, 想要积累起排名上的权重, 就必须持续地进行内容的输出以及开展外链建设工作, 一个新站在刚刚开始的时候出现排名靠后的情况, 这属于非常寻常的现象。
持续优化建议
站长需要定期登录百度搜索资源平台, 这个动作是必须有的。要监控抓取日志, 还要看索引覆盖数量, 也要关注异常通知。把站点实际的更新节奏考虑在内, 对推送频率进行动态调整, sitemap结构也要跟着变。这么做的目的就是为了确保收录效率实现最大化效果。
