核心公式(直接给出)

域名收录率指的是, 用搜索引擎实际收录的、位于该域名下面的网页数量, 去除以这个域名下面实际存在的网页总数, 然后把这个结果乘以100%。

举个例子呢, 某个域名里面所包含的页面总数是2000个, 而搜索引擎实际收录的数量仅有800个, 那么在这种情况下, 收录率的计算方式就很简单了, 它等于800除以2000再乘以100%域名收录率计算方法域名收录率计算方法,最后的计算结果也就是40%。

这是站长以及SEO从业者来判断网站的健康程度时, 最基础也是最关键的指标。下面我们来拆解具体的操作步骤还有相关的注意事项。

如何获取"收录网页数"

1. 百度的做法是, 用户需要在百度的搜索框里面输入一些特定的指令, 这个指令的格式是用 site:你的域名 来表示的, 比如可以写成 site:gname.xin 这样的具体例子, 然后去查看返回结果的总数是多少。

不过这里有一个需要特别留意的情况, 就是百度官方现在已经不再直接展示那种非常精确的结果总数了, 所以在获取数量信息的时候, 往往需要通过一页一页地翻页来大致估算一下整体规模, 或者是结合使用百度搜索资源平台来进行操作, 而该平台以前被称为百度站长平台, 现在在其中的收录管理这一个功能模块里去查看相关的数据会更为准确和可行。

2. 在Google搜索结果里输入site:你的域名, 页面显示的数值只是个大概;要想得到更准确的结果, 建议你去登录Google Search Console(这个工具以前的名字叫 Google Search Console), 然后在“网站表现”下面找到“索引”这一项, 点击进去就能看到被收录进搜索引擎的网址总数。

3. 你必须分别使用 site:域名 这个命令来进行查询, 或者, 你也可以选择登录到这些搜索引擎对应的站长平台。

给你的建议是, 你要看你目标市场上那些占主导地位的主流搜索引擎是什么样的情况。如果是给国内市场用的网站, 那就要重点关注一下百度这个搜索引擎。如果是打算做海外市场出海的那些网站, 那么就应该重点去看Google这个搜索引擎。

如何确定"总网页数"

这其实是个不少站长都会搞错的地方, 大家得注意一下, 总网页数并不等于你网站上所有HTML文件的数量, 而是指那些可被搜索引擎抓取、对外的、有独立URL的页面数。

我们要把下面这些情况都排除掉, 具体包括了登录页面, 还有那些带有多余参数的页面, 就像是那种 ?id=1&2&3 无限拼接的情况。另外也需要排除 robots.txt文件里面写着禁止抓取的那些目录, 内部跳转页面以及纯 API接口的页面。

统计方法可以是这样, 也就是去查看站点地图文件里面的内容, 用那个 sitemap.xml 里的网址总数当成一个基准数据。

还有一种办法就是使用爬虫工具, 比如 Screaming Frog 这个工具, 对网站的整个域名做一整次的完整抓取工作, 然后把抓取出来的网址列表给导出, 最后通过数一下列表里有多少个网址来得到计数结果。

计算步骤(按顺序执行)

步骤 操作 输出
1 统计域名下有效页面总数 总数 N
2 用 site:指令或站长平台查收录数 收录数 M
3 计算 M ÷ N × 100% 收录率
4 对比历史数据大城新闻网,判断趋势 提升/下降/异常

5个常见误区

1. 把未验证的网页也算进分母: 这意思是不对的, 只有那些已经提交了、能够被抓取到, 并且返回状态码为200的页面, 才需要算在总数里面。

2. 只查一个搜索引擎, 这一点是需要注意的, 因为百度收录并不见得代表Google也会被收录, 所以需要分平台进行统计。

3. 收录数量把接近的数值当作确实的数值来用: 搜索引擎里面显示的有“大概”字眼的数字会忽高忽低, 最好是隔一天去查好几次, 然后拿这些数字算出平均数。

4. 忽略死链和软404这些页面是确实存在的, 但是它们不应该被计算在总数的范围内, 如果把它们算进去的话, 那么真实收录率这个数值就会被拉低的。

5. 把收录率等同于排名: 收录率这个概念, 仅仅只是反映了一个网页有没有被搜索引擎的索引系统所抓取并记录在内, 它绝对不能说明该网页在搜索结果中究竟排在哪个具体的位置, 所以说这两个东西完全是两种不同的衡量方式, 它们彼此之间是独立的两种指标。

正常区间参考

对于一个新站来说, 如果它的在线时间还没有满三个月, 那么它的收录率处于百分之二十到百分之五十的范围之内, 这属于一种正常的现象, 因为在这种情况下, 搜索引擎还在一个逐步发现的过程之中。

成熟站(>6个月、页面稳定):收录率 70%–95% 为健康区间;低于50%需排查robots、canonical、meta robots 等配置。

如果发现收录率出现大幅下跌的情况, 而且这个下跌的幅度超过了20个百分点的话, 就应该优先去检查一下是不是触发了搜索引擎的相关惩罚机制, 还有看看CDN节点是不是出现了异常情况, 再或者DNS切换环节有没有出什么问题。

工具推荐(免费)

可以到百度站长平台(ziyuan.baidu.com)上去查看, 这样可以得到百度搜索收录的明细情况。

对于Google Search Console, 需要查看索引覆盖报告。

Screaming Frog SEO Spider能够进行本地爬取, 并且统计页面总量。

通过自行编写的脚本来结合各大搜索引擎的应用程序接口, 实现对多个网域的收录状态变化进行大量、统一的监视工作。

定期去执行上面说的那个流程, 这里头有个建议, 就是最好每个月就做一回。只要这么做了, 你就能完完整整地掌握域名被收录的真实情况是啥水平, 还能看清变化趋势到底是怎样的。这么做, 是为了给调整SEO策略提供一个靠谱的数据依据。