最直接的依据就是, 在你要用的那个搜索引擎里面进行“site:你的域名”这样的查询操作, 如果返回的结果页面里显示出有URL列表的话, 那就说明这个域名已经被收录了, 反之, 如果没有任何结果出现的话, 就意味着该域名要么没有被收录, 要么就没有被搜索引擎抓取到。
百度收录自查
打开那个网址是www.baidu.com的百度页面, 接着在搜索框那个地方输入site:你的域名.com这几个内容, 这里要注意一下, 输入的内容里面是不能包含www这三个字母的也是不能包含https这个前缀的。
最终呈现出来的结果是, 那个域名已经被百度给收录了, 而得到的那些结果的具体数量, 就差不多是代表它被收录页面的总页数。
没有结果, 这可能是因为没有被抓取, 或者网站还在新站的观察期, 百度对新的站通常要等大约三十天左右的时间来进行收录。
当用户只是看到“约X个结果”这样的提示文字, 可是点击进去以后却发现里面没有任何内容的时候, 这种情况通常说明相关信息虽然已经被系统抓取到了, 但是还没有通过质量评估环节, 所以也就还没有正式被收录进去。
辅助验证的方式是, 登录百度搜索资源平台(ziyuan.baidu.com), 然后, 在"索引量"页面, 查看近30天的索引量趋势, 因为, 这是最权威的官方数据。
谷歌收录自查
请现在就去看看这个操作, 也就是说要打开那个叫做谷歌的搜索框工具, 然后在这个输入里面直接打出文字内容是site:你的域名.com。
现在有了结果, 它已经被谷歌索引了。
结果是, 没有被进行抓取或者是没有被纳入到索引体系内。
辅助验证的做法是, 登录谷歌搜索控制台网址为search.console.google平台, 接着去查看“索引”板块下的“网页索引”报告数据。
通过这样的操作, 我们能看到已经编入索引的URL数量是多少, 还能看到没有被编入索引的具体原因是什么。比如像是“已爬取—尚未编入索引”或者“软404”这类情况都会列出来, 这样一来就能把问题定位得非常精准了。
Bing收录自查
你可以在那个名为Bing的搜索引擎里面的搜索框里面输入这样的一段内容, 那就是site:你的域名.com。
可以进行辅助验证, 就是登录到Bing Webmaster Tools这个网站里面去, 网址是www.bing.com/webmasters, 然后在页面上找到名为“索引”的那个标签, 点击打开它, 接着去查看一下已经被搜索引擎收录并编入索引的页面具体有多少个, 同时还可以去看看最近一次的蜘蛛程序抓取网页的记录日志。
抓取与收录的区别
抓取, 这个词, 它是指搜索引擎蜘蛛去访问页面并且读取页面的内容。收录, 这个词, 它是指页面被编进搜索索引里面, 从而可以被用户进行检索到。抓取, 它是收录的一个前置的步骤和环节, 但是, 抓取并不等于收录。
因为页面可能被爬取之后, 会由于质量不高、或者重复、又或者是因为robots.txt文件的屏蔽等各种各样的原因, 所以没有被编入索引。
在进行自我检查的时候, 要是执行了site这个命令并且没有发现任何结果的话, 那么就一定需要去结合各个平台在后台那边的抓取统计功能来进行判断, 主要就是要去弄明确到底是属于没有被抓取的情况呢。
常见疑难与处理
新域名多久会被收录?百度一般14–45天检查域名是否被抓取收录,谷歌7–30天检查域名是否被抓取收录,具体取决于爬取频率和站点质量。
当你在执行site查询这个行为的时候, 如果发现有结果呈现出来, 但是这些结果的排名情况是很靠后的, 或者出现的数量是极少极少的, 那么这种情况是属于在收录开始的那个正常初期阶段的一个状态, 你只要持续地去发布原创内容, 就能够逐步地让收录量得到提升。
有些页面已经被抓取收录了, 另外一些页面还没有被抓取收录, 对于那些还没有被收录的页面, 你应该去检查一下它们返回的HTTP状态码是多少, 这个状态码应该是200才行, 还要看看robots.txt文件里面有没有使用Disallow来禁止抓取这些页面, 最后还要检查一下有没有在代码里写canonical标签, 让它的数值指向其他的网址页面。
在采用gname.xin这类用于测试的域名去进行技术验证的时候, 建议大家同时把站点地图提交到各个搜索引擎的后台里面, 通过这样的方法来让第一次等待抓取的时间变短。
定期监控建议
把上面说的针对站点进行查询以及在后台去核对索引数量的这些事情, 变成每周都要照做的例行工作, 坚持跟着看一看收录量到底变化成了啥样。
要是发现某回检查完了之后收录的数字一下子掉得很厉害, 那就应该先去查一查是不是出现了大量返回404错误的页面, 或是被坏人搞了劫持, 又或者是被搜索引擎那边列进了垃圾信息的名单里, 然后赶快到各个相关的平台上去提交一下重新让他们索引的请求。

