核心结论就是:百度蜘蛛进行抓取,是您的域名被收录所必需的前提条件,但这绝对不是唯一能保证成功的充分条件。 所谓的被蜘蛛抓取, 仅仅意味着百度方面已经发现了您网页存在的事实, 并且已经把页面上的数据给获取了下来。
至于这些数据最后能不能真正进入索引库里面去, 也就是我们平常说的“收录”, 还要看内容本身的质量有多高, 页面的技术规范是否达标, 以及整个站点的权重处于什么水平这样一些因素。
说白了, 情况其实非常直白, 如果您的网页被抓取的次数为零次, 那么它百分之百绝对不会被收录；反过来, 哪怕你的页面被抓取到了上千次的那么多, 要是内容质量确实比较低劣, 那么最终依然有可能一个收录都没有得到。
抓取与收录的运作机制
百度搜索的蜘蛛程序, 也就是大家常说的Baiduspider, 它主要是靠着外部链接带来的引导、站长递交的Sitemap文件这种方式的帮助, 以及通过站长主动进行推送这一手段等等这三种主要的途径来把网站里面的东西发现并且抓取的。
一旦网页完成了被抓取这个动作, 它就会进入到一个被称为待收录池的地方去等待着下一步的安排。在这个等待的过程中, 会有特定的算法对网页的质量进行评估和检查, 只有那些通过了审核环节的页面, 才能被最终写入到索引库里面去, 从而真正实现收录这样一个结果。
咱们就拿像 gname.xin 这种新注册的域名当个例子来说吧。因为新域名在一开始的时候, 它的初始权重基本上就接近于零。然后百度那边的蜘蛛通常就是每隔三到七天左右才会过来访问一回, 每次抓取的量其实是有限的。在开始的阶段往往只抓首页以及少量的内页出来。
只有当累计抓取的数量达到了某个一定的阈值同时内容通过算法质量审核了, 它才会出现在用 site: 搜索出来的结果里。所以说对于一个新站点来讲从第一次被抓取到第一波页面被收录这个过程通常需要花七三十天这样的时间。
决定收录速度与成功率的核心因素
内容质量是原创的，而且信息密度也很高, 这样的页面被收录的可能性远远高于那些采集拼接、关键词堆砌的页面。这一点是算法审核过程中的第一道关卡。
把页面的结构整理清楚, URL的层级要控制在3级以及3级以下, 面包屑导航要做到清晰明了, 这样子方便搜索引擎蜘蛛去爬取整一个网站的内容。
站点权重: 对于那些积累了过往外部链接的老域名来讲, 网络爬虫访问它的频率是比较高的, 而且单次能够抓取的流量上限也是比较大的, 所以它被搜索引擎收录的速度就会相比于那种纯粹的新网站来说要快很多。
技术配置方面是这样的, robots.txt这个东西没有错误地把那些重要的目录给屏蔽掉了, 网页上面也不需要依赖很多JavaScript代码去渲染, HTTP的响应时间是在两秒钟之内的, 并且页面上没有出现大范围的404或者是500这样的错误。
加速新域名收录的实操步骤
1. 在完成关于域名的那些备案手续之后呢, 要马上就去把百度搜索资源平台给注册下来, 然后将那个叫做 Sitemap 的东西提交上去, 并且还要把这个主动推送的接口给打开启用起来。
2. 要确保首页以及核心的内页都使用的是纯HTML, 这样它们就能被直接访问到, 进而避免这样的情况发生, 就是内容是全部由JavaScript进行动态渲染的。
3. 在上线之前的三十天这个时间段里面, 要保持着每日更新的这样一种动作, 每天写一到两篇的原创内容, 这样做是为了持续地给蜘蛛提供新的页面的。
4. 可以在自有平台以及行业发布的信息目录里面, 加上指向那些核心页面的外部链接, 用来引导搜索引擎蜘蛛去更快地发现相关内容的。
5. 每周都要使用搜索资源平台里面的那个抓取诊断功能, 去确认一下蜘蛛是不是能够正常地访问到各个层级的页面。
高频误区澄清
误区1: “抓取次数越多越快收录”——错误。低质页面, 无论被蜘蛛抓取多少次, 算法都不予收录。
误区2认为, 只要在网站里提交一次地图文件, 就可以高枕无忧, 再也不用管了。这种想法是完全错误的。我们需要在有新内容的时候, 一次又一次地持续去提交它。如果你能主动地把新出现的页面推送给搜索引擎, 那么搜索引擎收录这些新页面的速度就会提升得特别明显。
误区3, “新站必须等3个月才有收录”,这种说法是不对的, 没有固定的等待周期。如果技术层面做得合格, 并且发布的文章内容质量也都很高, 那么在一周之内就可以看到第一批的收录结果了。
反过来讲, 如果一个站点发布的内容质量比较低, 它可能会出现很长时间都没有任何收录, 甚至可能几个月都看不到收录的情况。
总结: 抓取是收录的入口, 质量是收录的门槛。在技术层面要确保蜘蛛能够抓得全面, 并且在速度上也要够快。在内容层面要让内容本身的质量足够过硬。只有当这两个条件得到同时满足的时候, 域名的收录工作才会自然而然地取得成功, 就像水到渠成一样顺利。
