核心公式
这个关于域名收录率要怎么去计算出来的公式, 它是这样的:
收录率 = 搜索引擎已收录页面数 ÷ 网站实际发布页面总数 × 100%
关于“搜索引擎已收录页面数”这一概念, 它是指百度、Google等主流搜索引擎索引库中实际收录的、归属于该域名的页面数量；而“网站实际发布页面总数”则是指在当前情况下正常可访问状态的页面总量, 不包括404、500等无效页面。
三步完成计算
第一步：统计网站实际页面总数（分母）
你需要先去查看网站后台里面的URL列表, 或者是去看那个名为sitemap.xml的文件, 也可以找一个爬取的工具来帮助实现, 这样做是为了拿到在该域名底下所有能够正常被访问到的页面的总数, 同时在去进行统计的时候, 一定要把那些已经被删除了、进行了重定向处理的、或者是在尝试访问时返回了403状态码以及404状态码的页面给排除掉。
第二步：查询搜索引擎收录页面数（分子）
百度: 在搜索框输入 site:你的域名, 查看"百度约包含X个结果"。
谷歌的做法是在浏览器里的地址输入框中输入代码 site:你的域名, 然后查看出现的搜索结果总共有多少条。
360、关于搜狗的这个东西, 它的弄法啊, 基本上是和前面说的那个情况是一模一样的。
建议去分别查询两到三家那个主流的搜索引擎呢, 然后取平均值或者一个一个分别计算一下, 这样能够得到一个更加全面的一个收录情况。
第三步：代入公式
把第二步里面拿到的那个收录数拿来, 然后呢, 去除以第一步里面的那个页面总数, 接着再把这个结果乘以百分之百, 最后得到的这个数值, 就是咱们说的这个域名在对应的搜索引擎下面所占的那个收录率的百分比。
影响收录率的关键因素
页面质量与原创度: 页面的质量要是比较低, 再加上内容里有很多重复的地方, 这样的页面就不容易被收录。
网站结构与内链: 页面的层次过深, 内链又比较稀疏, 爬取效率低。
更新频率就是如果你长时间不去更新内容, 搜索引擎可能会给降权, 或者干脆把你的内容从索引里删掉。
服务器响应速度这块要提一下, 如果加载得很慢, 或者老是出错宕机, 就会让爬虫没办法好好抓取数据。
如果配置文件里面把爬虫抓取给禁止掉的话，那么这个页面就绝对不会被收录进去, 这里面要提到的就是robots.txt还有meta标签。
注意事项与常见误区
1. 搜索框里面那个写着大概有多少个结果的地方, 它只是一个估算的数字, 所以肯定是有差错的, 这个只能拿来飞快地看一下大概情况, 绝对不能用来做非常准确的数据检查。
2. 不同搜索引擎的收录标准并不是完全一样的, 同一个域名在百度搜索平台上的收录数量和谷歌搜索结果里的收录数量, 有可能存在非常大的差别, 所以必须对各个平台的收录数据进行分别进行统计。
3. 收录率这个东西, 它真的不是说是越高就越好。如果你的那种网站的页面总数是极少少的情况下, 比如就只有一个首页, 那么这时候看到的收录率是接近百分之百的那个样子的时候, 它是并不能够来反映出你那个SEO的健康度是不是真实的好的情况的一种东西的。
4. 建议你每个月都找一个固定的时间去检测一次, 然后把这些数据记录下来, 从而看出具体的变化趋势, 这一点非常重要, 千万不要只是仅仅依靠单次的数据就匆忙地下结论。
5. 对于多语言的情况, 或者包含多个子站点域名的情况, 都应该分别去统计每一个子域名在搜索引擎中的收录比率。
如何提升域名收录率
提交完整sitemap至各搜索引擎Webmaster平台；
我们要让内容更新的节奏保持稳定, 并且在这些更新里, 要把那种还没被搜索引擎收录到的页面的内部链接通路给弄得更好, 这一点是要优先去做的。
通过清理那些已经没有实际效用的无效页面, 把死链接数量给大大地减少掉。
要改善页面加载速度, 确保服务器稳定。
去把那个 robots.txt 文件里的、针对屏蔽的规则, 检查一下, 顺便做一下修改和修正。
运维人员跟SEO团队的人员可以通过定期检查域名收录率是怎么变化的, 从而能够非常快地发现内容被错误地删除或者被屏蔽这样的异常情况。
比如说, 通过使用gname.xin之类的域名管理工具, 人们就可以很方便地去查询域名的解析状态是怎样的, 以及SSL证书的有效期还有多长, 这可以帮助大家去排查因为DNS配置有问题或者证书过期的原因而导致爬虫抓取失败的问题。
