百度蜘蛛抓取了为什么没收录？域名收录的真正决定因素一次讲清

01百度蜘蛛抓取的基本机制

百度蜘蛛是通过像sitemap提交这样的途径, 还有外链引用以及站内链接发现等途径, 来获取新页面的地址, 并且发起抓取行为的。

对于那些新域名来说, 比如gname.xin这种注册还没有满三个月的站点, 在初期的时候, 蜘蛛的配额是有限制的, 所以说抓取的频率通常都是比较低的, 一般会需要经历一个大概是7到30天的渐进爬坡期。

而站点本身的历史权重、更新频率还有外链的质量, 这些都会直接影响到蜘蛛回访周期的长短, 一般来说权重越高, 那么抓取的频次就会越高。

02域名收录的判定标准

百度对收录的判定, 并不是只从一个角度出发, 而是把各种因素综合在一起进行评估。

内容质量: 这个页面到底有没有原创文章的东西, 提供的信息是不是很齐全, 对读者而言是不是真的有用, 如果是那种到处抄来的或者是内容很少很薄的页面, 就会被系统给过滤掉。

技术可达性是指HTTP响应是否处于正常状态, 也就是说不能出现403或者500这样的错误代码, 同时也需要考察页面的加载速度有多快, 内容是否能够适配移动端设备的浏览需求, 还有JS渲染出来的那些具体内容, 搜索引擎蜘蛛有没有办法可以正确地进行解析。

站点信任度: 这个指标的考量因素包括了域名的创建时长、过往有没有违规的情况, 还有备案的状态如何, 具体来说就是在境内服务器部署的情况下, 必须要把ICP备案这个手续给完成好。

站点权重, 指的是整体外链的结构情况, 还包括品牌词搜索量, 以及历史收录的表现。

当域名被收录的意思就表示百度系统已经对该网站产生了认知, 但是单个页面是否能够正式进入索引, 其最终的结果还是要取决于该页面自身所拥有的质量如何。

03抓取了却未收录的高频原因

1. 页面属于采集和拼接的情况, 这里面缺乏独立的信息增量, 所以被百度质量评估给过滤掉了。这种现象被称为内容低质或重复。

2. 新域名信任不足: 注册时间比较短, 也没有品牌相关的搜索量, 百度所以就把他放到了待观察的群里头去, 还没有正式放到索引里。

3. 技术阻碍是这么回事, 就是在蜘蛛来抓取页面的时候页面返回了异常状态码, 或者是核心内容因为依赖于客户端JS渲染所以没有被识别出来。

4. 违规与过度优化: 存在堆砌关键词、隐藏链接、欺骗性-meta等行为, 触发反作弊机制。

5. 未主动推送: 仅仅是依赖搜索引擎爬虫来进行随意的发现, 没有及时地把内容推送到系统中, 这就造成了页面长时间停留在被抓取了但还没有被评估的状态。

04提升收录率的实操路径

主动推送: 借助百度搜索资源平台（也就是原来的站长工具）来提交sitemap, 并且开启API的实时推送功能。这么做是为了缩短从发现到抓取, 再到评估这一整个流程的链路时间。

内容策略需要做到, 在每一个页面当中,都要确保有足够多字数的原创且有效的内容百度蜘蛛抓取与域名收录关系, 这里指的具体字数是不得少于八百个字, 同时还要避免出现那些千篇一律的、用各种模板生搬硬套出来的 repetitive 段落, 在进行信息结构的组织安排工作时, 一定要以满足实际需求的人为导向来开展各项工作。

技术自查: 使用百度资源平台所提供的“抓取诊断”工具,来模仿网络爬虫的访问视角落灵音心图, 对页面状况进行检查, 目的是确认该页面能够被顺利打开, 并且重要的信息部分确实能够在HTML源码里面被看到。

外链建设: 要获取那些和主题相关的、质量比较高质量的外链, 以此来提升网站信任信号。

就是, 要保持一种持续更新的状态。具体来讲呢, 是要保证每周发布的新的内容, 要至少达到两篇到三篇这个数量范围。这样做的目的, 是为了维持搜索引擎里的那个蜘蛛, 它的活跃抓取的能力不被降低。

05补充说明

收录它确实是一个动态发生的变化过程,而且这并不是一种一次性通过就能解决事情的状态。百度这个搜索引擎会周期性地去复查那些已经被收录的页面内容百度蜘蛛抓取与域名收录关系, 如果发现页面的质量发生了下降, 或者页面中出现了违规的情况存在的话, 那么这个页面就有可能被降低权重, 甚至是直接从索引列表里面被移除出去。

所以站长朋友们必须要把收录这个事情看作是持续进行运营需要关注的指标才行, 绝对不可以把它当成是网站上线之后就自动完成的静态结果。

定期检查收录量的变化情况, 需要用到site加上域名的这个搜索指令作为方法, 同时还要结合百度搜索资源平台里面提供的流量数据和索引报告来进行分析, 这些做法才是保持系统收录状态处于健康水平的基本操作步骤。