核心公式
域名收录率, 这其实是把搜索引擎已经收录的页面数量, 除以网站里面总共可以收录的页面数, 最后再乘上100%算出来的。这个指标, 它能够直接地显示出搜索引擎在对咱们站点的内容进行抓取和索引的时候, 效率到底是怎么样的。所以它是用来衡量咱们的域名在SEO这块健康程度如何的最核心的一个参数。
三种计算方法
Sitelinks查询法
你可以在百度搜索引擎的搜索框里面输入“site加上你的域名”, 同时在Google搜索引擎的搜索框里面也进行这样的操作，得到的返回结果总数就是你的网站当前收录页面的数量。
然后你把这个数字拿来除以从网站后台统计出来的所有的能够被收录的页面的总数, 这里需要注意的是, 你要在总的可收录页面数里面排除那些被robots.txt文件给屏蔽掉的页面, 也要排除掉那些包含noindex标签的页面, 并且还要排除掉那些只由JavaScript渲染而且没有被爬虫程序所执行执行的页面。
最终你计算出来的这个比值就是收录率了。此方法的操作过程是比较简单的, 但是所得到的结果里头存在着抽样误差的情况, 同时也存在着缓存延迟的问题, 所以这个方法是适合用来作为快速估算的一种手段的。
Search Console数据法
你可以登录到百度搜索资源平台, 或者是Google Search Console, 然后进入所谓的索引模块, 把已编入索引的页面总数拿过来作为分子, 因为这个方法里面用到的数据, 是直接来源于搜索引擎官方的统计结果的, 所以在时效性上面, 还有准确性上面, 都比site查询更高一些, 并且这也是官方所推荐的首选方式。
抽样估算法
当那个站点的页面数量已经超过10万级别的时候, 去一个一个地查询, 这在实际操作上是不现实的。咱们可以随机抽取500个URL, 然后再到目标搜索引擎里面去逐一验证, 看看它们是不是可以被检索到, 接着计算一下命中的比例, 以此来推算出整体的收录率。抽样量越大, 那么结果就会越稳定。
实操步骤
第一步是要弄清楚分母是啥, 你可以去这个站点的后台里面看一看, 或者去看看那个叫xml文件的地图, 把总共能让大家收录的页面数量都给统计一下, 在这个过程中要把那些被规则拦住不让爬的页面给扔掉, 还有带着说不让收录标签的页面也要扔掉, 更要把那种全靠代码自己运行才显示的页面也给过滤掉, 毕竟爬虫根本就没去执行它们。
执行第二方面的步骤来获得目标分子内容。首先考虑优先使用Search Console工具里的索引数据进行匹配, 如果相关的站点还没有接入到该服务之中, 那么就选择通过site:查询或者样本抽样的方式来收集相关信息。
进行第三步的计算并且要把比率给记录起来。建议大家在每周固定的某个时间点, 比如说周一的上午的时候去记录一下这个数据。这样做的目的是为了能够把这些结果形成一条趋势曲线。通过这种方式就可以更方便地发现那些出现的异常的波动情况了。
进入第四步, 也就是进行对比诊断的工作。如果收录率低于百分之七十的情况出现时, 应当排查抓取调度以及索引队列的状态问题。
而如果收录率低于百分之五十的情况被检测到, 那么就需求重点检查robots.txt这一文件的配置情况, 同时还要检查sitemap是否已经成功提交, 另外也要查看服务器的响应速度到底是如何的, 再一个就是确认服务器那边是否存在大规模的404错误或者是5xx错误这些方面的问题存在。
常见问题与注意事项
这个site查询得到的结果, 其实是存在延迟现象的, 同时也是存在着抽样偏差问题的, 所以是不适合把它当作唯一依据来使用的, 建议大家还是要去和那个叫做Search Console的数据进行一个交叉验证才更稳妥一些。
收录的比例不是越高就越好的, 要是那个分母里面有好多那些质量不高的页面或者是重复的页面, 那这个比例变得比较低了倒反而能提示出来, 内容的这个结构是需要去进行优化的。
多搜索引擎的收录率需要分别进行统计。百度、Google以及Bing它们的抓取策略与索引机制存在着显著的差异, 因此不能把这些不同来源的数据混在一起使用。
可以进行批量检测, 并且和历史趋势对比一下, 这些事情通过gz88.cn提供的站长工具板块去完成就就行了, 它也支持查询多引擎收录的状态, 还支持把周期数据进行导出。
总结
想要完成SEO诊断, 掌握域名收录率的计算方法这个基础环节是必不可少的, 只有通过定期去监控还有及时去做归因以及进行有针对性的修复这些操作, 才可以让收录率维持在健康的区间里面, 这也就是为站点能够持续地获取到来自自然搜索流量的情况提供保障。
