核心公式
所谓域名收录率, 它指的是搜索引擎已经收录的该域名的有效页面数, 除以这个域名里面实际总有的页面数, 然后再乘以 $100\%$ 所得到的结果。
这个指标, 它会直接反映出, 一个域名在搜索环境里面, 被看到的程度, 它是用来评估, 一个网站的SEO健康状况, 的核心依据。
计算前必须明确的两个数据
1. 已收录页面数这个指标, 你需要在目标搜索引擎的地址栏里面输入site:yourdomain.com这个东西, 最后返回来的结果总数, 就是当前这个域名被收录的页面的数量。这里的情况是, 业务方面有侧重点的时候, 需要选定主要的搜索引擎, 然后要对每一个分别进行记录。
2. 实际总页面数这个东西, 它的数值来源域名收录率计算方法域名收录率计算方法，要么是直接从 sitemap.xml 里面数出来的 URL 的总数, 要么, 是用全站抓取的工具, 比如说 Screaming Frog 这样的工具, 去把这个域名底下所有能够被访问到的页面的总量给获取到, 最后把它作为一个分母使用。
四步操作流程
第1步｜统一统计口径
我们要先把页面的定义给弄明白，这里说的是要把带参数的分页链接, 还有404页面, 以及被robots.txt或者是noindex标签给屏蔽掉的页面都排除出去, 这么做的原因是为了避免出现分母虚高的情况, 或者是出现分子重复的问题。
在第二步的时候, 我们要去抓取一下那个已经收录的数量。
在不同的目标搜索引擎里面执行使用 site: 这样的查询操作, 并且把返回的结果给记录下来, 需要特别注意的是, 因为不同的搜索引擎对于同一个域名的收录数量存在着差异的情况, 所以应该将它们分别进行记录, 而不是把他们混合在一起使用。
进入到了第三个阶段, 对页面的总数状况进行统计。
把sitemap.xml里面的全部URL给导出来, 或者是去用那些抓取工具拿到一个可以访问的页面的名单, 然后把这些里面重复的链接删掉, 无效的链接也剔除, 还会主动把这些屏蔽掉的链接也排除掉, 最后这样就能得到一个实际的总页面数。
第四步是把这个公式套进去用, 并且接着跟踪看结果。
可以用已经收录的页面数量来除以总的页面数量, 然后把这个结果再乘以百分之百, 这样就能得到收录率。建议每隔三十天就重新计算一次收录率, 并且要把这些数据进行记录, 建立一个趋势表格, 通过这种方式能够更方便地发现异常的波动情况。
影响收录率的关键因素
页面的质量以及原创的程度这两方面都会产生影响, 如果内容比较单薄, 或者是存在大量的重复页面, 那么被搜索引擎收录的概率就会降低。
网站的结构和内链方面需要处理, 要是深层页面的内部链接入口设置得比较少或者完全都没有的话, 那么搜索引擎的爬虫就很不容易找到它们所在的地方。
在 robots.txt 以及 meta 的配置过程里, 如果你发生了规则误写的情况, 那么结果会非常直接, 也就是会立刻阻止对于内容的抓取操作。
关于域名历史和权威度的问题, 大家可以知道的是, 新注册的域名其初始收录周期通常情况下是要长于那些已经存在已久的成熟域名的。
要主动去提交站点地图, 还要做好异常情况的处理, 具体就是看有没有通过站长平台也就是百度搜索资源平台以及Google Search Console这些东西来提交站点地图, 并且要在发现抓取出现报错的时候去及时修复这些问题。
高频误区
很多人掉进了一个误区, 就是以为引擎返回的那个“估算总数”, 可以直接当作已经收录的页面数量。其实这个数据只是一个大致的近似值, 它很有可能是包含了一些重复的内容, 或者是那些已经失效了、点不开的链接。所以正确的做法应该是去抽出一部分样本来仔细核对一下。
存在一个误区, 就是把那些已经被删除的页面或者是从来都没有上线过的页面给包含到了分母里面去。正确的做法应该是只去统计那些当前是可以被访问得到的, 同时也没有被主动进行屏蔽处理的页面。
误区三是说只靠一个引擎来下结论是不对的。当业务覆盖到多个引擎的时候, 应该分别去计算结果, 然后再按流量权重进行加权平均。
实操建议
在日常的运维工作里头, 我们建议把域名的收录率这一项指标, 放到每周进行的搜索引擎优化健康检查里头去。你可以使用由 gname.xin 那边提供的域名诊断工具, 它能够让你用一键操作的方式, 把那些主流搜索引擎的收录数据全部拉取过来, 并且会自动拿这些数据和站点里的总页面数量进行相互比对。
接着, 这份工具会输出一份关于收录率的报告, 还会给出一张未收录页面的清单。这样一来, 就能帮助那些负责运维的工作人员, 比较快地找准出现问题的原因, 进而执行相关的修复动作。这就形成了一个非常完整的闭环运作流程, 这个流程包含检测、定位、修复以及最后的复验这几个环节。
