所谓的域名收录率这个概念, 简单来说就是指某一个特定的域名, 它已经被搜索引擎收录的那一部分页面的具体的数量, 占到了这个域名的全部的、可以被搜索抓取功能的页面数量的总体百分比的那个数值, 这个结果呢, 它是用来对网站在搜索引擎里面的整体的可见度情况, 还有它的权重健康程度做出一个核心的衡量作用的一个非常重要的指标, 所以它会直接地去影响和决定网站能够获取到的那些来自自然状态下的搜索流量的多少和能力。
一、核心计算公式
域名收录率, 这个数值是通过把已收录页面的总数除以网站可抓取的页面总数, 然后再乘以百分之百来算出来的。
参数说明：
已收录页面总数, 指的是通过搜索引擎使用的包含指定域名的查询指令, 或者是通过各个网站管理员工具后台所得到的, 实际被搜索引擎索引的网络地址的数量。
网站可供抓取的页面总数, 这个概念指的是, 它包含那些已经主动向搜索引擎进行了推送的 URL, 还包含那些通过 sitemap 方式提交的 URL, 另外, 它也还包括站点内部的所有允许被搜索引擎抓取到的页面。
这里需要注意的是, 这些被允许的页面, 是指没有被 robots.txt 文件所屏蔽的页, 同时也没有设置 noindex 标签的页。
我们拿那个叫做 gname.xin 的网站当作例子来说清楚这个问题。如果你发现这个站, 在向百度站长平台, 一共推送过 5000 个不一样的网址。然后你再去用那种 site:gname.xin 这样的搜索方式去查一下。
你确认下来, 已经被百度收录的网址数量是 3500 个。这么算的话, 这个域名的收录率就会变成 3500 除以 5000 再乘以 100%, 最后的结果就是等于 70%。
二、各搜索引擎查询步骤, 这需要我们采取实际操作的过程。
1. 百度
快速估算的方法是, 在百度搜索框里面输入“site:你的域名”, 比如“site:gname.xin”这样的形式, 然后看结果页面底部显示的“百度为您找到约 XX 条结果”这样的提示字样, 这个数字就是当前的收录量, 但是需要注意到, 这个数据存在着大约 1 至 3 天的缓存延迟。
精确数据可以通过这样的方式进行获取, 具体做法是登录百度站长平台ziyuan.baidu.com, 然后进入“索引 → 站点收录”这部分内容, 在这个界面里, 用户可查看每日新增收录数, 以及总收录数, 还可以查看具体的收录趋势图。
2. Google
你可以尝试一种快速的估算方法, 就是在Google搜索框里面输入像site:你的域名这样的一串字符串。
需要获取那个精确数据, 你要去登录那个叫Google Search Console的地方, 找一找那个路径是什么样子呢?
其实路径就是“索引”然后指向“站点地图”, 然后你分别查看每个都已经提交过的sitemap上面的“已索引”页面数到底是多少, 把那些数字全部相加以后, 你就得到一个准确的收录量了。
3. 其他引擎
360 搜索、搜狗以及 Bing 都支持 site: 指令, 操作方法跟前面提过的一样。要是想对不同引擎收录的差异进行对比, 建议一个一个地查询, 然后把结果记录下来。
三、常见误区与注意事项
这种延迟性的表现, 是百度收录数据通常都到了第二天才会有更新, 而Google则是大概需要等待二十三至七十二小时才能完成, 所以在大家去查询这些信息之前啊, 务必要把数据的时间效应这个事儿给确认好了才成, 不然的话就非常容易造成误判。
针对分母口径这一方面, 对于那些动态生成的页面（举例来说就是商品详情页面并带有参数）这样的情况, 应该按照独立且可以被抓取的 URL 数量来进行统计和计算, 而不能去考虑那些最终由前端渲染以后呈现出来的视觉层面的页面总数是多少。
质量是必须放在首位的, 收录率的数值高并不代表网站生态就是健康的。如果出现大量低质量的页面或者重复内容的页面被引擎收录的情况, 我们应当通过站长平台这个渠道来主动操作, 要么提交删除请求, 要么添加X-Robots-Tag: noindex这个标签, 以此来应对这些问题。
新站周期指的是, 对于新注册的域名, 比如 gname.xin 这样在一年内上线的网站, 由于搜索引擎对他们的信任度不够高，所以收录率偏低是正常的现象。这一点需要大家理解, 并且需要通过持续不断地更新原创内容, 同时保持稳定的 URL 推送方式, 来逐步提升收录效果。
四、提升收录率的实操建议
每周要进行的内容发布, 需要不少于三篇, 而且这些内容必须是高质量的、原创的。
要确保 sitemap.xml 这种文件能够被自动地去产生出来, 并且要通过站长平台去定期地提交上去。
应该要进行定期检查, 并且对异常 URL 进行修复, 其中包括 404、301 重定向之类的状况, 借此来减少无效抓取。
关键的这一块内容方面呢, 你要避免去采用那种纯粹的通过 JavaScript 来渲染的做法, 从而确保搜索引擎的爬行机器人能够直接读取到正文部分的 HTML 代码。
对收录率这个指标进行每个月一次的重新核算, 通过这种跟踪方式来观察它的变化趋势, 一旦发现出现了异常的下降情况, 就要及时地去排查造成这种结果的原因。
大家常用的那些搜索引擎, 这些办法都包含了进去。只要大家按照给的步骤一步一步来操作, 就能做完从算出收录率达到把优化效果提升上去这整个流程的最后一个环节, 把这个事情完整地搞定。
