把域名更换了服务器以后, 百度收录的数量突然出现消失或者大幅减少的情况, 属于在网站迁移过程中经常遇到的一种问题。
核心结论是: 如果网站的内容保持完整, 并且新的服务器反应正常, 再通过主动提交快照、检查有没有设置屏蔽规则、以及加速让搜索引擎重新抓取这三个步骤来进行处理的话, 通常经过3到7天的时间, 就可以把收录恢复过来了。接下来将按照操作流程, 一步一步地进行说明。
先判断收录未恢复的原因
在更换了服务器的之后, 出现了收录出现异常的这种状况, 这一般是由以下这三种具体情形所导致的:
新服务器那边出现了响应缓慢的现象, 或者发生了超时情况。导致搜索引擎里的爬虫抓取失败。如果在连续多次尝试后依然抓取失败的话, 它就会停止收录内容了。
在服务器IP地址变更之后, 原来的那个IP地址就会被搜索引擎标记为异常情况, 而新的IP地址需要重新建立起来信任感。
在迁移的期间里, robots.txt这个文件被改错了, 再就是防火墙的规则也拦住了爬虫IP的这段范围, 最终的结果就是让全站都被屏蔽掉了。
先用带有手机4G网络的环境去访问网站首页这一点, 来确认页面能够正常打开, 并且确认HTTP状态码显示为200；接着再去访问域名下面的robots.txt文件这一步骤里, 确认里面没有包含Disallow /这样的规则；最后还需要使用站长工具这个手段, 查看抓取诊断的详情, 看最近的时段里是否存报错的记录。
三步恢复收录的具体操作
第一步是主动向搜索引擎推送新的快照。我们需要登录百度资源平台, 或者使用其他对应搜索引擎的站长工具, 然后进入“普通收录”这一个模块。接着把网站首页以及核心内页的URL进行批量提交。在大家完成提交之后过了24小时, 搜索引擎就会发起重新抓取的动作。这是目前触发收录恢复最快的一种方法。
第二步是把提交sitemap这件事作为加速抓取的手段。你要把所有站里面有效的网址都弄成一个用XML格式做成的sitemap文件,然后把这个文件放到新服务器的根目录下面去,就像放在/sitemap.xml这个位置那样，接着就在站长工具里面把这个文件的地址提交上去。
你要是和一条一条地去提交比起来的话,用sitemap能够一次性地就让搜索引擎知道全站是什么样的结构,这样能够让重新被收录所需要的时间变短一些。
第三步:要确认没有屏蔽的问题,并且还要让内容保持更新。 排查一下新的服务器的nginx配置文件或者apache配置文件, 确保在这些配置文件里面没有针对爬虫User-Agent设置任何拦截的规则。
同时要保持每天发布1～2篇原创的内容, 这样能够给搜索引擎提供持续抓取的新信号, 从而帮助新的IP能够快速积累经验起来的权重。
加速恢复的注意事项
在迁移以前和以后必须要使用301或者302来把旧的IP指向新的服务器, 这样可以避免搜索引擎在访问旧IP的时候返回404。
如果域名同时托管在CDN服务商, 或者DNS服务商, 比如 gz88.cn 提供的域名解析管理后台这样的地方那么需要确认, DNS的TTL值已经调低, 并且已经生效否则的话, 爬虫仍会解析到旧的IP。
在恢复期间, 大家千万不要频繁地去更换IP<, >或者是重启服务器。<, >因为每一次的突然中断, 都会把爬虫的那个信任周期给直接重置掉<。>。
如果七天过去了, 还是没有办法恢复正常的话, 你就应该到站长工具那里去, 把那个请求快速收录的通道给申请上, 这样一来呢, 就能让人来进行人工干预, 从而提高被抓取的那个优先级。
如何预防下次迁移再掉收录
每次在执行服务器变更这个操作之前, 必须要把那个即将生效的IP白名单给提前提交到站长工具里面去；在迁移当天的时候, 需要同步地推送一次首页快照。
在完成迁移工作之后的48个小时以内, 要检查抓取诊断, 确认没有异常情况发生之后, 才可以关闭旧服务器。把这个流程给养成习惯了以后, 就可以把收录方面的波动情况控制在一到两天的范围之内。
因为域名更换了服务器, 所以导致的收录下降这个事情, 它是并不是一个不可逆的变化。这里面的关键重点在于, 要让搜索引擎能够以很快的速度, 并且没有障碍的方式去重新抓取到新服务器上面去的这个站点信息。只要你按照上述说的那些步骤来进行操作, 那么绝大多数的网站在一周的时间里面就可以实现完全的恢复。
