网站新页面被搜索引擎收录的速度, 这其中的核心关键, 其实就取决于两个主要环节。第一个是看爬虫能够多快到达你的这个页面, 第二个则是看页面本身是不是满足了收录的标准。咱们下面所讲的这6个方法, 是严格按照执行的优先级进行排序的, 每一个都是可以直接落实的具体操作, 绝对不是那种泛泛而谈的理论说明。
提交并持续维护Sitemap
我们要先到百度站长平台上去, 或者到那个叫Google Search Console的地方去, 把咱们自己的站点的Sitemap给它提上去了, 这个 Sitemap是那种XML格式的, 然后在每次咱们发布了新的页面的时候, 在后面的24小时以内, 必须把新出现的那个URL给写进那个Sitemap里面去，并且要重新提交一下, 对于单个的Sitemap文件里面的URL的数量, 我们是需要把它控制在一个5万条的一个范围之内的, 如果说超过了这个数字的话, 那么就需要把它们给拆分成好几个文件的, 再通过一个叫做主索引Sitemap的东西来进行引用。
同时要让网站地图和现在站点的实际情况保持同步状态, 对于那些已经被删除了或者是已经无效的网址地址就及时地去把它们移除掉, 这样就能够避免出现搜索引擎的抓取工具反复去尝试抓取那些无效的地址的情况了, 从而不至于造成抓取数量的额外消耗。
调用主动推送接口
用户可以使用站长平台所提供的API接口, 比如百度资源平台里的普通收录接口, 在CMS后台进行配置以设置一个自动化推送脚本, 这样当文章发布的那一瞬间就会触发URL推送请求。
在实时推送模式下, 新的URL一般来说会在数小时之内被爬虫抓取到, 这远远快于去等待常规的巡检周期, 而常规巡检周期通常为几天乃至几星期。务必在推送代码中加入错误重试机制, 单次推送失败后间隔30秒自动重试, 确保URL不丢失。
构建短路径内链体系
爬虫是依靠内链来一层一层地发现有新的页面的, 所以内链的层级关系会直接左右到收录速度的快慢。在执行标准方面, 要求每写出一篇新的文章, 都要确保它至少从首页、栏目页面、或者是上一篇下一篇的导航链接那里, 拿到一条指进来的链接。
此外, 全站必须部署好面包屑导航功能, 这样做的目的是为了能让任何比较深层的页面, 从首页出发经过不超过3次的点击操作都能够被访问到。还要每月使用专门的爬虫工具进行一次全面的扫描, 把那些所谓的孤岛页面全部修复掉, 这里指的孤岛页面就是说页面上没有任何其他内链去指向它的情况。
实测数据里显示的那个情况是这样的, 就是那个内链的层级每往下面减少一个层级的话, 那么那个新页面它第一次被收录进去的那个时间呢平均也就减少了大概百分之四十这个样子。
将首屏加载控制在2秒以内
搜索引擎现在已经把页面的加载速度纳入了收录优先级的评估体系里面, 要想把首屏的加载时间控制在两秒以内, 有一些关键的操作是需要去做的, 比如把图片统一地转换成WebP或者是AVIF这种格式, 然后再给它们添加懒加载的属性, 同时要求在服务器端启用Gzip或者Brotli这样的压缩方式, 还有就是要让静态资源, 比如说CSS、JS和图片等等全部接入到CDN来进行分发, 最后还需要做的是合并那些冗余的CSS文件和JS文件, 以此来减少HTTP请求的数量。
使用百度移动研发工具或者是PageSpeed Insights, 来逐项进行检测, 然后把那些得分最低的项, 作为优先修复的对象。
建立固定更新节奏
搜索引擎会根据站点过去的更新频率习惯, 动态地去分配爬虫也就是抓取机器人的抓取数量。我们建议每天固定发布一或者两篇真的有实质信息的原创内容。千万不要使用人工智能批量生成那些没有什么内容的薄页面来进行填充。
如果连续三十天保持了稳定的更新节奏, 那么爬虫对站点的回访频率就会明显上升。一定要避免在长期没有更新的情况下, 一次性灌入大量低质量的页面。这样做会触发平台的质量审查, 导致整个站的收录被延迟, 甚至会被降低权重。
排查技术层收录障碍
在对具体内容进行优化动作实施之前, 首先需要针对那些存在于技术层级中的、不容忽略的硬性缺陷进行逐一排查。你要去检查robots.txt文件内部, 是不是有人写错了Disallow这类的规则设置, 导致原本应该被抓取的目录被错误地禁止收录了?
同时, 还要翻看页面的HEAD区域代码, 看看里面有没有残留着meta robots noindex这样的标签标记? 另外, 整个网站平台是否存在海量的301重定向跳转现象, 或者是否有很多404无效的链接没有被彻底清理掉?
其次, HTTPS安全证书的状态也需要确认, 是不是已经过期了, 或者其配置信息本身存在异常情况? 最后, 需要核实所使用的域名在最近一段时间内, 是否已经被主要的搜索引擎平台给予了降权处理, 又或者该域名正处于被称为沙盒的观察观察期之内受到限制。
用户可以通过使用gname.xin站长工具箱里的“站点诊断”这个功能, 来一次性扫描上面提到的所有技术方面的项目, 并且会生成一份修复清单。这份清单是结构化的形态。用这种方式可以快速找到具体原因是什么, 这些原因是阻碍了收录的。这么做可以避免进行盲目的优化工作。
这么做还能避免因为盲目优化而浪费了精力。
落地执行顺序
先把第六步给干了, 把这个过程中的所有技术硬伤全部排除掉, 然后再按顺序把第一到第五步给执行一遍, 等到整条链路全部都跑通的时候, 新页面的平均首次收录时间就能够直接从以前的2到4周这个默认的状态被压缩到24到72小时这个阶段里面去。
