把域名换到别的服务器以后, 收录的数量掉下来了, 甚至全都看不见了, 主要的理由只有一个, 搜索引擎的爬虫以前一直靠着那个旧的IP去找东西, 现在换了新的, 旧的那个IP找不到了, 爬虫就把这个网址当成了没法访问的样子, 收录也就跟着变差了或者给去掉了, 想恢复住的关键点不是光在那儿等, 得主动让爬虫去重新抓取放在新IP上的完整的网站内容, 一般从换好服务器这天开始算起, 过了三到七天这样的时间, 收录的水平就能恢复到正常的样子。
以下是大家现在需要去操作的整个流程路径。
恢复前必须完成的3项检查
1. 你需要确认DNS指向的事情, 办法是登录到域名管理后台去操作, 比如说gname.xin的DNS解析面板, 然后你要确认A记录已经指向了新服务器的IP地址, 还要确认TTL已经生效了。接着你可以使用nslookup这个工具或者dig这个工具来验证一下全球节点的解析结果是否一致。
2. 新服务器的可访问性, 要通过运行 curl -I http://你的域名 这个操作来确认, 它返回的结果必须要是 200, 而不能是 502, 也不能是 503, 更不能出现超时的现象, 如果防火墙或者是安全组没有把 80 和 443 这两个端口进行放行, 那么爬虫就没法完成抓取的。
3. 你要去检查在新设置的服务器上面 /robots.txt 这个文件里面, 有没有错把 Disallow: / 给写上去了, 或者是屏蔽了什么重要的路径, 还要确认 sitemal.xml 这个文件在新开的服务器的上面, 是可以被正常访问到的。
当这三个项全部都得到通过之后, 随后就会去进入到那个要主动进行推送的那个具体环节里面去。
4步恢复操作
第1步：重新提交Sitemap
关于百度搜索这一块儿的内容是, 登录百度搜索资源平台, 进入"普通收录→XML地图"这个界面, 然后就可以重新提交或者更新sitemap地址。
打开 Google Search Console 这个平台, 用账号登进去里面, 把之前用着的那个旧 sitemap 文件的地址从列表里删掉, 确认它确实不在了, 然后把新的网址放进去重新提交一遍就行了。
360、关于搜狗, 这个事儿需要大家去对应的站长平台里面同步地进行一下操作。
在关闭页面的时候, 请先确认一下提交以后的状态是成功的, 然后再进行关闭的操作。
第2步：主动推送核心URL
在百度资源平台上, 用户可以选择进行普通收录以及API推送, 或者选择主动推送的方式进行操作, 要把网站的首页那些被高频收录的URL一起提交上去。通常情况下, 每次建议提交的地址不要超过50个, 这样可以实现批量的提交处理。
用户可以通过Google Search Console这个工具来进行操作, 具体来说是用URL检查功能, 然后去请求索引, 把那些核心页面一个一个都提上去。
这一做法缩短了爬虫重新发现新IP的路径, 将所谓的自然等待变成了主动通知。
第3步：保持站点稳定运行至少14天
在推送完成之后, 你需要记住, 在随后的14天这段期间里, 千万不要再去进行IP地址方面的变更操作, 也不要去搞什么域名切换的事情, 更不允许去搞那些大规模的重构活动。
关于爬虫这一点, 必须得让它在日子里头把抓取任务给连续着成功地做完,过了那么好几个日子的成功抓取之后域名更换服务器后收录恢复, 它才会把这个被爬取的URL重新标记成“稳定可访问”的一个状态, 进而让这个收录的评级一点一点地往上回升去。
第4步：监控收录数据
用户可以去百度搜索, 每天搜一下 site:你的域名, 然后记下来收录了多少条。
建议您前往Google的Search Console平台, 找到并进入标记为“索引”的那个页面, 然后在当中去观察那些已经完成了被搜索引擎收录处理并且拥有专属网址的网页数量的变化情况。
把那个之前基线数据的状况拿来做一个对比动作, 去确认有一个回暖趋势正在出现。
高频疑难与应对
如果收录数量在超过了14天以后仍然保持为0的状态, 那么大概率是DNS还没有在全球范围内生效, 或者是新的服务器出现了响应超时的问题, 建议用 ping 和 traceroute 来排查网络链路的情况, 并确认防火墙的规则是否正确。
有一部分页面已经恢复到位了, 可是另一部分页面仍然没有成功完成。这个时候需要对新的服务器展开详细检查工作, 重点排查页面返回状态为404或者301但跳转到的地址存在错误的情况, 在发现具体问题之后要逐一进行修复处理, 等所有需要修复的地方都妥善处理好之后,再执行重新推送的操作步骤。
在切换过程中域名更换服务器后收录恢复, 对HTTPS证书进行了更换, 需要确保证书链的完整性, 也就是说中间证书已经部署到位了, 如果不这样做的, 网络爬虫程序就会跳过那些HTTPS页面。
预防建议
如果在gname.xin这样的平台上托管着域名, 那么在切换服务器之前, 最好提前48个小时把DNS缓存时间的限制调低到60秒。这样做能让全球的递归DNS缓存变得更新更快一些。
这样能把爬虫继续指向旧的IP地址的时间段尽量缩短一点。等切换完成之后, 要保留旧的服务器处于只能读取的状态。这个不能读写的状态至少要持续7天的时间。这么做是为了把它当作回滚操作的备份用起来更稳妥。
收录恢复的本质, 就是让网页抓取工具重新成功地、并且持续地访问新的地址。按照上述的四步去执行的话, 绝大多数的网站, 在一个工作周期内, 就可以观察到被收录的数据回升了这一情况。
