把权重比较高的高权重域名接入到CDN之后, 如果配置没有弄错的话, 那么是不会导致搜索引擎给降权的, 这里面的关键原则是什么呢, 就是你要确保CDN的节点返回的是HTTP头信息, 而且内容必须是一致性的, 还有SSL证书也要和原来的站点保持一样, 同时要保证搜索引擎的蜘蛛是可以正常去抓取的。
CDN对高权重域名的影响机制
搜索引擎会通过IP信誉, 响应时间, 内容一致性, HTTPS安全性等等这些维度, 去评估一个域名的质量到底怎么样, 而CDN这东西本身是不会改变域名的所有权的, 但是如果进行配置的时候不够正确, 那么就会出现以下的一些风险情况, 比如节点IP会被搜索引擎标记成机房IP, 这样会导致信任度出现下降的问题, 再比如不同的节点返回的内容不一致, 这会触发抓取出现异常的情况, 还有缓存策略会导致蜘蛛看到过期的内容, 以及SSL证书与域名不匹配, 这会引发安全警告。
部署操作建议
1. 节点IP段报备这一步骤具体是这样操作的, 首先你要进入CDN控制台的地方, 然后执行导出操作, 目的是获取所有节点的IP段数据。
在拿到这些数据之后, 你需要把它们提交到搜索平台的相关列表中, 这里提到的搜索平台包括百度站长平台以及Google Search Console这两个平台, 而需要提交的列表名称是“IP验证”或者“屏蔽或忽略”列表这么做的核心意图在于防止搜索引擎的蜘蛛程序把节点的IP地址看作是异常的来源。
2. 回源策略锁定: 回源Host必须填写原始域名, 不可以填写IP, 确保源站收到的请求与直接访问的情况保持一致, 在源站有证书的情况下, 推荐使用HTTPS作为回源协议, 这样可以避免中间人进行篡改活动。
3. 缓存规则分层: 对于网页来说, 要把过期时间设置得短一些, 比如10秒到30秒之间, 或者设置成强制重新访问服务器去获取最新的文件。针对那些静态的资源文件, 就像是图片、样式表还有脚本这些东西, 可以把失效时间设得长一点, 范围是从7天开始一直到一年那么久。
对于那些比较受搜索引擎关注的网站, 它的 HTML 文件最好不要让它缓存太长时间, 这样做的目的就是为了防止蜘蛛爬虫在它抓取页面内容的时候拿到了已经过时的旧版本。
4. HTTP响应头对齐的含义是, 当CDN这一层的时候, 不要去额外添加像X-Frame-Options和Content-Security-Policy这些响应头, 因为这些是与安全策略相冲突的, 除非源站本身已经包含了这些内容, 否则就不要加上。
保持Cache-Control、ETag、Last-Modified由源站主导，CDN仅透传。
5. SSL/TLS配置: CDN边缘节点的证书必须要把完整域名都给覆盖住, 这包括带www的和不带www的这两种情况, 还得用上SHA-256来进行签名处理, 启用TLS版本的时候要选1.2以及比1.2更高的版本才行, 必须保证证书的链条是完整的样子, 要避免中间节点出现截断的状况发生。
6. 在cdn的访问控制环节, 要对百度、搜狗、360、Googlebot等蜘蛛ua设置不缓存、直接回源的规则, 这样就确保了搜索引擎始终是获取最新内容。
7. 监控与告警: 在部署完成后的72个小时内, 去通过Sitemap的主动推送功能来验证那个网页爬虫抓取的状况；然后要配置好那个CDN的日志告警机制, 把重点放在5xx错误的发生率上面, 还要关注回源过程失败的概率, 以及SSL握手失败的次数。
常见踩坑点
开启了CDN, 但是没有及时地去更新网站上的Sitemap里面的URL scheme（也就是把http变成https）, 这就导致了旧的链接出现了404的情况。。
通过把多个CDN叠加在一起使用, 比如说同时使用Cloudflare和国内的CDN这种操作模式, 会导致DNS解析的链路变得十分混乱不清。这种情况下, 搜索引擎就会因为信息混乱而缓存了错误的IP地址。
源站这边没有去做那个关于IP白名单的限制, 然后呢CDN在回到源站的过程中, 就把这个流量给当成是那种攻击型的流量, 结果就给拦截掉了。
验证清单
在部署工作结束以后, 需要一项接一项地进行检查核实。首先要看站长平台上的抓取诊断功能是不是没有异常问题。其次要查看 PageSpeed Insights 这个工具给出的移动端得分, 确保它没有低于部署之前的分数。然后是去查 SSL Labs 的评分, 要求必须达到 A 级或者更好的级别。
接着还要确认域名的 whois 信息有没有发生变化, 要保证没有任何变更。最后要看一看历史_weight_指标的表现, 特别是百度权重和爱站权重这两项数据, 在过去七天里面, 它们的波动幅度一定要控制在正负一个级别以内。
大家可以去查看那个CDN服务商的官方文档以及搜索平台的站长指南, 以此来作为参考, 然后按照相应的流程去执行, 不过在具体参数的设置上, 一定要以各个平台发布的最新说明为准, 对于相关的部署案例还有那一种节点配置模板来说, 是可以直接去访问gz88.cn这个网址的, 从而获取进一步的技术方面的参考。
