把高权重域名加入到CDN里面去, 这中间存在一个核心风险, 这个风险主要就是导致域名的权重被稀释, 还有可能会导致收录出现异常的情况。

在正式部署之前, 必须要把三项核心的检查项目全部做完, 首先要看缓存的策略是不是能够把静态资源和动态资源区分开来, 其次要确认回源的Host是不是准确无误的, 最后还需要知道搜索引擎是不是已经被正确地告知了CDN节点的具体信息, 接下来就会按照优先级的顺序来一项一项地给出相应的建议。

缓存策略

1. 我们对于静态资源进行管理, 这些静态资源包括图片, 还有CSS文件以及JS文件, 在这些资源的缓存有效期设置方面, 我们会将其设置为30天, 同时我们要配合内容版本化这个手段来进行操作, 具体的做法是在URL后面追加大量hash后缀, 这样做的目的就是为了避免用户在访问的时候能够直接访问到那些过期的文件。

2. 在HTML页面这个部分里, 缓存时间要是设得不超过5分钟, 那么就是可以做的, 如果直接选择了关闭缓存, 那也是能够允许的, 原因是说HTML这种形式本身就是搜索引擎去抓取东西以及传递权重方面的核心内容载体, 一旦出现了长缓存的情况, 那就是会导致新的那些内容没有办法得到及时的被纳入索引, 进而就会影响到对收录时效这一方面的问题处理。

3. 对于那种带有动态参数的网址, 就是query string这种的, 用户必须把缓存这个功能给关闭掉, 不然的话就会发生这样的情况, 不同的用户在访问同一个网址的时候, 得到的内容是相同的, 搜索引擎会根据这种情况来判断页面是重复的。

4. /sitemap.xml 与 /robots.txt：禁止设置任何缓存，确保搜索引擎蜘蛛每次访问都获取到最新文件。

回源规则

1. 回源Host这个字段必须得填写源站的域名, 绝对不能使用IP地址来填写。要是源站属于虚拟主机类型这种情况, 那么一旦填错了Host信息, 就会直接引起发生回源404错误这一结果, 也就是说根本拿不到正确的网页内容。

2. 回源协议的选项可以设置为“跟随客户端”, 也可以强制去选择HTTPS, 这么做的原因在于要避免因为HTTP和HTTPS被混合使用而触发了那种重定向循环的问题。

3. 回源超时这个设置我们要改成30秒, 同时重试的次数最多只能有2次。这样做的目的是为了能够防止因为源站出现了短暂的故障, 从而引发CDN节点层面的雪崩效应。

4. 源站的IP地址完成变更以后, 需要在4个小时之内把这个CDN的回源配置给同步更新到最新的状态去, 不然的话就容易导致大面积的502错误问题出现, 进而造成对正常访问过程的这种严重影响。

5. 在回源请求里面, 我们要去保留那个原始的User-Agent, 这样做的主要目的, 是为了能够让源站那边可以比较容易地去区分出来, 到底哪个是搜索引擎的蜘蛛程序, 哪个又是CDN的那些普通请求, 从而能够执行一些有差异化的响应操作。

权重保护

1. CDN节点响应头里把Link这个字段给正确地返回出来了, 后面跟着一个url, 并且用分号接着写了rel属性的值是canonical这个东西, 这样做的目的是为了明确地告诉搜索引擎, 原始页面的地址到底是什么样子的, 从而去防止出现多个CDN节点返回了相同的内容却被判定为是不同的版本从而导致被认为是重复内容这一种情况。

2. 必须把301和302重定向的逻辑留在源站那边去执行, 千万不要把这一步操作放到 CDN 这一层去做, 这样做是为了避免因为重定向的链条变得过长, 从而导致权重在每一级传递的过程中都受到折损。

3. 以gz88.cn等稳定运营的站点为例子。在这些站点的CDN配置中。专门对搜索引擎爬虫的UA做了区分。单独设置了不使用缓存并且直接回源的策略。这是为了确保爬虫能够始终拿到最新的页面内容。因为长期保持了实时页面。所以收录率就一直维持在稳定水平上。

4. 对于那些域名权重比较高的站点, 如果它的PageRank是大于等于5, 或者百度的日收录数量是大于10万的, 那么建议一定要留下来至少一条那种直接从源站发出的连接链路。把这当作是在CDN出了故障的时候的一个兜底办法。

高频疑难排查

把网站接入到内容分发网络之后, 数据的收录数量出现了下跌的情况, 在这种情况下我们需要优先去检查内容分发网络是不是正确地返回了规范链接标签, 同时还要检查机器人排除标准文件是不是被内容分发网络的安全策略给错误地拦截了。

在移动端页面显示出现异常的情况下面, 请确认CDN没有对用户UA进行改写或者合并操作, 保持原始请求头完整透传。

子页面的权重是不进行传递的, 需要去检查CDN是否出现了把子页面通过302重定向的方式指向到首页的情况, 如果存在这种情况就要把它修正, 改成直接给出200状态码来响应请求。

上面说的这些建议, 是可以用到那些主流cdn服务商那里的, 具体的参数得看你后台里实际有的选项为准。等部署这个事儿完成了以后, 建议大家通过使用站长工具来持续监控七天里面的收录情况以及流量的变化, 要是确认没有什么异常情况的话, 再考虑去扩大cdn的覆盖范围。