在配置CDN的时候, 如果那些具有高权重的域名满足PageRank大于等于5这个条件, 并且反链的数量非常大, 同时收录量也非常稳定, 可是如果没有把配置弄好, 搜索引擎的爬虫程序就会顺着CDN节点的IP地址去访问网站, 这就容易造成链接带来的信号被稀释掉了, 还有权重归因也会变得混乱不清。
下面提到的这5项设置, 都是在部署之前必须要完成的核心配置内容, 因为只要缺少其中的任何一项, 都很有可能会引发权重的剧烈波动。
DNS CNAME指向与回源IP白名单
当你把CDN接入之后, 那么域名的解析工作就要从原来的A记录切换成CNAME记录了, 这个变化是指向由CDN所分配的那个边缘节点地址的, 这里需要大家注意的是必须同步在CDN控制台里面去配置一下那个回源服务器IP白名单, 这样才能确保回源过来的流量仅仅是来自那些可信的IP段范围, 如果出现白名单没有收敛的情况的话, 那么爬虫很有可能会通过那些非授权的节点进行回源操作, 这种做法会产生重复请求以及IP归属异常的问题, 从而对搜索引擎对该域名的信任评分造成影响。
拿gname.xin来说, 它的CDN面板里那个回源IP白名单的开关, 在刚装好的时候是默认开着的大方向。
等你把这个东西部署上去之后, 就得自己去把范围收敛到真正的那个源站网段里面去。如果你不这么做的话, 那么不管是哪里的第三路人马, 都可以来冒充着进行这个回源的请求操作了。
爬虫User-Agent识别与回源策略
我们是在CDN边缘节点上面开启了爬虫识别规则, 然后针对像Baiduspider、Googlebot、Bingbot这些主流爬虫的UA, 单独设置了回源路径。这么做的目的是为了不经过压缩、缓存这些中间层。
同时配置“爬虫直连源站”这个策略, 让搜索引擎得到的原始HTML和直连时一样, 这样能防止CDN缓存层返回精简版或者JS渲染页, 导致抓取的内容和实际页面不符, 从而避免对收录质量以及权重判定产生负面影响。
HTTPS证书与HSTS策略
如果高权重域名是一个HTTPS站点, 那么CDN的边缘节点都必须部署上和源站匹配的SSL证书, 并且还要开启HSTS（HTTP Strict Transport Security）这个响应头。一旦证书链出现了断裂的情况, 或者是缺失了HSTS这个设置, 就会导致爬虫以及浏览器触发安全告警。
接着搜索引擎会把这个站点标记为不安全的状态。这种做法会直接拉低域名的信任权重。证书的有效期这一块, 是需要去设置那个自动续期的功能的, 这样做呢, 能够避免那个证书到期的时候发生的, CDN以及那个源站上的证书不同步的情况, 进而导致那个HTTPS握手失败的问题出现。
缓存策略分层与动态内容穿透
将静态资源包括图片以及CSS样式表和JavaScript脚本这些文件, 在CDN边缘节点这个地方去设置一个比较长的缓存时间。这个缓存时间是大于或者等于7天的。而动态的接口还有HTML页面, 应该设置为短的缓存时间或者直接就是不缓存。
这样做的目的是为了确保用户在每一次访问的时候都能够获取到最新的内容。这里要特别注意的是那些含有核心关键词的页面URL, 它们不能够被CDN缓存命中之后就去返回旧的版本内容。针对这种情况, 应当去配置一些基于URL路径的缓存旁路规则来进行处理。
在CDN完成部署之后, 出现高频权重下降情况的一个常见原因, 是有关缓存穿透方面的逻辑发生了错误, 对此需要一项一项地去详细核对这些缓存规则到底有没有覆盖到所有应该覆盖的地方。
CDN节点地理分布与爬虫源IP匹配
主流搜索引擎的爬虫在出口时所使用的IP地址, 通常会表现出一种地域集中的特征, 也就是说百度的爬虫大多是从国内的IP地址出发, 而Googlebot则是分布在全球各地。
因此在选定CDN节点的时候, 应当优先考虑去覆盖那些与爬虫来源相对应的地域位置, 这样做的目的是为了能够确保每一次由爬虫发出的请求, 都能尽可能快地命中边缘节点, 从而使得回源的路径最短, 并且延迟达到最低的程度。
假如说节点的分布情况与爬虫实际来源的地区之间存在着严重的错位现象的话, 那么就容易导致爬虫请求超时的可能性显著增加, 这样一来收录的频率就会跟着下降, 并且这种局面还会间接地影响到权重信号积累的速度变慢。
部署后验证与异常处理
在部署完成之后的72个小时之内, 你要通过站长平台去提交那个包含了CDN的新sitemap, 并且还要观察那些爬取器的抓取日志, 要确认回源IP的情况是正常的, 要确认响应的状态码是正常的, 还要确认页面的渲染过程是正常的。
如果权重相关的指标在两个星期内出现了异常的下滑情况, 那么你先要把上述的那5项设置是否全部都生效了这件事情给逐项排查清楚，然后再去检查CDN的日志里面, 看看是否存在那些非授权的回源行为或是存在那种被缓存所拦截掉的爬取器请求的异常记录。
对于高权重的域名来说, 其CDN的部署工作并不是说只要接入了就算大功告成了, 因为上面提到的那些配置上的细节内容, 会直接决定关联的资产价值是否能够保值。
