多语言那个页面, 它会对域名被收录产生那种直接的、能算清楚数据的影响。它的核心机制呢, 是爬虫预算分配和语言识别规则这两个东西相互作用的结果。下面要从影响机制、策略调整、常见错误还有验证方法这四个方面, 给出一个完整的说明。
多语言页面影响收录的具体机制
当你在同一个域名下面去部署多个语言版本的时候, 搜索引擎分给这个域名的抓取频率总量会受限制。一旦你增加的语言版本数量变多, 那么针对每一个单一语种的页面来说, 它的索引更新周期就会变得越来越长。这种情况下就会导致新发布的页面在收录时的速度跟着下降, 这就叫爬虫预算稀释。
存在重复内容被错误判断的风险。具体原因是没有正确地配置 hreflang 标签, 或者标签的声明信息不完整。在这种情况下, 处于不同语言页面之间的相似内容会被判定为重复内容。这会触发了网站去重的逻辑机制。最终的结果是部分语种对应的页面会直接被排除在收录范围之外不再被收录。
因为不同样式的网址被混在一起使用, 比如路径里面带着英文斜杠开头这样的结构、还有把语种放在域名前面的那种形式、以及直接把语种作为参数来传递的写法, 这就会导致爬虫在解析的时候花费更多的力气, 最后的结果就是抓取的效率变低了, 并且收录的数量也会跟着出现一阵子高一阵子低的情况。
收录策略调整要点
1. hreflang这个标签啊,它得做到双向的和对等的位置上: 要是 A 语言这一页的网站页面, 它去声明了有指向到 B 语言的页面这样的一个动作的话, 那反过来, B 语的页面的地方, 肯定也得要同时地去声明出有指向回 A 这样的行为出来, 不然单向的那种声明的情况, 在各大搜索引擎的那些工作人员们看来, 就跟咱们什么都没有去做、去说、去标记过的情况下是完全一个样子的意思, 压根儿就起不到帮助网站把不同语言版本给区分开来的那么一点点的效果和作用。
2. URL结构在全语言层面要保持一致：所有不同的语种都需要使用完全相同的路径层级规则，并且在命名规则上也要保持统一。严禁出现一部分语种使用路径格式、另一部分语种使用子域名格式的混乱情况。因为这种结构上的不一致性, 会直接导致爬虫程序无法建立起不同语言之间的对应关系。
3. 将站点地图按照不同语言进行分别拆分, 然后去具体提交。也就是让每种语言单独生成一个 XML 格式的站点地图文件。在这些文件内部, 需要对应当使用的语言代码以及地区代码进行标注清楚。最后, 把这些文件都一一提交到搜索引擎提供的网站管理工具里头去。
4. 关于控制语种上线节奏这一事项, 我们需要明确的是要优先保证核心的 2 个语种能够完成基础性的收录工作, 在此基础之上之后再逐步地去扩展其他的语种。如果是一个全新的网站或者是一个权重比较低的域名, 是不建议一次性就把 5 个以上的语言版本全部都上线的。
高频错误与规避方法
咱们目前只建设了英文版本的页面在内容发布平台上, 而中文网站这边没有配置反向的 hreflang 声明动作, 这样一来, 中文页面就面临着被系统判定为重复内容或者是受到权重降低的风险。
一些页面因为机翻质量很差所以被判定为低质量, 然后系统返回了 200 状态码, 并没有返回 410 或者 404 状态码, 这样做持续浪费了爬虫的抓取资源, 并且还拖慢了整体的收录进度。
像 gname.xin 这种还在积攒权重的新域名, 如果直接在上面部署多语言的结构, 在基础收录的池子还没有建好的时候就去扩展语种, 非常容易造成整个站点的收录情况停滞不前。正确的操作顺序应该是先只用一种语言来运行四周到六周的时间, 等到每天的自动索引数量稳定下来之后, 再去开启多语言的功能。
收录状态验证与监控
在多语言版本上线之后的那四十八个小时到七十二个小时之内, 要使用搜索引擎网站管理工具里面的"已完成收录的网址"这个报告来对每一个语种去查看它们被收录的状态。需要把重点放在两项指标上面进行监控。第一个指标是各个语种的每天新索引的数量有没有出现过百分之三十以上的下跌情况。
第二个指标是链接换语言标签的报错比例有没有超过百分之五。如果这些指标出现了异常情况, 要先去排查标签是否对称以及站点地图提交是否完整清楚。在完成了上面的检查之后, 再去检查网址的结构保持一致性是否存在问题。
