一、核心计算公式（直接可用）
域名收录率就是拿搜索引擎里已经收录的那些URL的数量, 去做除以网站总共提交的、或者能够被爬取的URL的总数, 然后还要乘以百分之百。
这里所说的总提交URL数量, 指的是那个站点主动向搜索引擎去提交的, 并且是可以被正常抓取的页面的总量。而已收录URL数量, 指的是在搜索引擎那索引库中被实际收录的页面有多少个。
这个公式, 是适用于百度, Google, Bing呀这些主流搜索平台的, 它们计算逻辑是一致的, 只是数据来源以及查询方式不一样罢了。
二、计算步骤（按顺序执行）
首先, 需要确认网站上所有统一资源定位符的总数量。
登录相关的搜索引擎站长工具, 比如百度资源平台、Google Search Console或者Bing Webmaster Tools, 然后在站点地图模块里或者是抓取统计数据模块中, 把全部都允许被抓取的统一资源定位符清单导出来, 最后记录下这个总数为N。
如果在实际使用XML站点地图的时候, 那么是可以直接去读取map这个文档里面的
第2步:查询实际收录数。 你可以在搜索引擎的输入框里面输入 site:你的域名, 百度是支持 site:这个指令的, Google也是同样的情况；或者你通过站长工具里面的索引覆盖范围报告去获取已经被收录的那部分页面数量 M。
大家要注意，必须去仔细区分“已抓取”和“已收录”这两个词之间的区别, 因为被搜索引擎进行网页抓取的动作, 并不意味着该页面就会被正式收录进来, 只有那些最终被收录在索引库里面的页面, 才会算作是计入那个字母
第3步:代入公式。 用收录率R, 去除以M, 再乘以N, 最后结果要乘以100%。
第4步:分模块拆分（可选但建议）。需要把URL按照频道来分成不同的组, 或者也可以按照栏目来分成不同的组, 还可以根据URL规则来进行分组, 然后要对分组之后的不同组分别计算收录率, 通过这种方式能够去定位哪些页面路径出现了收录异常的情况, 这么做是方便去做针对性的优化工作的。
第5步:周期化追踪。 建议按照相同的标准, 每个星期去查询一次。要把趋势数据记录下来。这样做可以把因搜索引擎更新索引的延迟现象所造成的波动排除出去。通常的情况下百度大约需要14天才进行一次索引更新的周期操作。Google的情况则是大约经过48小时左右。
三、影响收录率的关键因素
抓取配额与频率:新站或者权重比较低的域名, 每天的抓取配额是比较有限的, 这样就会导致部分URL会一直维持在已提交但是未抓取的状态, 这个情况会把收录率给拉低。
页面的可抓取性这一点来讲, 就是那些被robots.txt文件所屏蔽的页面, 或者是返回了4xx状态码、5xx状态码的页面, 再或者是因为动态渲染的内容让JavaScript执行引擎没办法去解析的页面, 它们统统不会进入收录的流程之中。
内容质量与重复度: 那些属于低价值类型的页面会被搜索引擎主动给除名, 这类页面往往具有高度重复的特征, 或者被判定为低质的状况, 最终所表现的后果就是已经被收录的内容, 却被移出索引。
对于页面层级比较深的那些情况, 如果站点内部没有建立起有效的链接连接通道, 那么搜索引擎的抓取程序就可能没有办法到达这些页面, 这就容易出现一种局面, 就是搜索引擎还没有去采集过你的内容, 这些信息就已经没有被收录进数据库里面了。
域名历史与信任度:一个域名如果之前有违规的操作记录, 搜索引擎在抓取页面的时候会降低优先程度, 并且对收录的标准也会变得越来越严厉。
四、实操示例
拿域名 gname.xin 来作为一个例子吧, 这个网站总共提交过来了一整个XML的站点地图, 这里面含有的有效的URL一共有2,400条那么多, 然后通过去百度搜索一下site:gname.xin, 再加上结合上百度资源平台里头提供的"索引量"这个数据来看, 最后确认现在被收录进去的页面总数是1,760条。
收录率等于一千七百六十除以两千四百, 然后乘以百分之百, 得到的结果大约就是百分之七十三点三。
进一步进行拆分来看, 主栏目总共有一千二百条内容, 其中被收录的的数量为一千零八十条, 收录的比例为百分之九十；工具子栏目这一部分, 总量是八百条, 实际收录了四百八十0条, 所以收录率达到了百分之前六十；另外还有帮助文档, 总数有四百条, 其中有两百条得到了收录, 收录比率是百分之五十。
根据以上情况可以做出判断, 工具子栏目和帮助文档这两个板块是存在批量页面没有被索引的状况的, 因此应该优先去排查属于这两类页面的抓取日志数据以及服务器的响应状态码信息。
五、注意事项
1. 不同搜索引擎收录标准不同, 同一域名在百度的收录率与Google可能相差20%以上, 不可直接横向对比, 需分平台单独计算。
2. “被移除”这个状态和“未收录”这个状态完全是两码事, 咱们要分清楚, 前者指的是东西曾经一度进入了数据库里面, 但是后来又因为质量不行, 或者是违反了相关的规定等等原因, 最后被彻底地除掉了名册；而后者则是指这个东西压根儿就没有进入过那个叫索引的库里面去, 从头到尾都没有露过面, 所以, 在计算相关数据的时候, 千万要以当前确实还待在索引库里面的那些内容为准, 这样才能算得对。
3. 提交的那部分网址数量, 应当把那些明明确白就不想让搜索引擎收录的页面给排除掉, 像什么前面带着问号加字母那种有参数的重复页面、需要登录才能看的页面、还有那些只是附件属性的PDF文件页面, 都要不算在内, 要不然的话, 作为分母基数会变得虚高, 最后算出来的收录率数据肯定就会变得失真。
4. 数据方面存在那种滞后的特征, 所以刚发布出去的内容, 通常是得要等上一个完整的索引周期完毕之后, 才能真的反映在那个收录数量的结果里面去, 因此建议就是不要在发布之后的那24个小时以内呢, 就着急着去判断说是不是出现了收录异常的这种情况。
你完成以上五步后, 你已获得该域名在目标搜索引擎上的完整收录率数据, 你还获得分模块诊断结果, 这些结果是可直接用于制定下一轮收录优化策略。
