新页面上线之后, 一直迟迟没有被搜索引擎给收录起来, 这个核心原因通常来讲就只有两个情况, 一个是搜索引擎这边还没有发现你这个页面在哪里, 另一个是就算发现了它因为存在某些技术上的障碍导致它没办法顺利抓取到数据, 以下提到的这6个方法它们是按照优先级的顺序来进行排列的, 并且涵盖了从让页面被发现到最后被抓取这样一个完整的流程线路。
提交结构化XML Sitemap
你必须在站群的根目录下面, 去生成那个XML格式的站点地图, 并且还要好好地维护它, 这个目录的例子就像gname.xin/sitemap.xml这样, 你要把所有的已经发布了的页面的URL都写进去, 还要写明每个页面最后的修改时间以及变更频率怎么样, 然后你就通过搜索引擎的站长平台, 去手动提交这个Sitemap, 这么做的话, 你可以把那些新页面暴露给爬虫所要经过的时间长度, 从原来那种自然爬取可能要花好几天甚至好几周的那种状态, 一下子压缩缩减到24小时以内。
建议你每次发布新内容之后, 把Sitemap同步更新一下, 然后重新提交。
主动提交索引请求
你可以去利用百度站长平台里面那个叫作普通收录的接口, 或者用Google Search Console里面的Request Indexing这个功能, 把关键的新页面向往里面一条条地提交URL地址。
这么干是不需要花费预算的, 但是每一个站点在每一天里头有能够提交上去的那个数量的上限, 根据资料来说的话, 百度的普通收录大概是两千条一天这样一个样子。你要是能把那些重要性属于最高级别页面放在当天的首批次里面去进行提交的话, 那么可以非常明显的缩短首篇内容被收录进去所需要等待的那段时间长度。
优化页面抓取友好度
必须让每一个页面都去返回那个状态码为200的HTTP结果, 并且在首屏显示的HTML文件里面要含有正文中的那些核心内容, 这样做是为了避免出现完全靠JavaScript来渲染的情况, 然后要去把单个页面的HTML文件的体积大小控制在500KB的这个门槛以内, 还要给图片加上alt这个属性的描述, 并且要避免在正文的区域里使用那些多层嵌套在一起的iframe标签, 毕竟搜索引擎里的爬虫它对渲染能力是存在一定局限性的, 所以对静态的HTML内容进行抓取的成功率要远远地高于动态加载的那些页面。
构建密集内链网络
新页面发布之后, 需要在首页这里添加指向新页文的锚文本链接, 需要在栏目页这里添加指向新页文的锚文本链接, 还需要在相关的旧文章这里添加指向新页文的锚文本链接。内链是爬虫发现新的URL的最主要的路径这一点是非常明确的。
当gname.xin的具有高权重的旧文章中出现了指向新页面的链接的时候, 爬虫在下一轮去抓取这些旧文章的时候会顺藤摸瓜地发现新的URL, 这时候就不需要再等待外部的链接或者Sitemap推送了。
保持稳定的更新频率
搜索引擎会把更新比较稳定的站点看做好的选择, 于是就会给它们分配更高的爬取频率。你要是坚持每周发布两到三篇原创内容, 这种方式比一段时间内集中发布十部分内容更能保持爬虫来访问的节奏。
与此同时, 要避免对已经收录的页面的URL进行大量的修改工作, 这样做的目的是为了不去触发重新抓取队列的情况发生, 从而防止挤占新页面想要获取收录资源的机会。
排查技术基础问题
在上线之前的时候, 你要一项一项地去仔细检查。首先要看robots.txt这个文件里, 是不是不小心把那些想要被收录的路径给屏蔽了。然后还要检查一下, 你有没有配置那个noindex的meta标签。再就是HTTPS证书有没有效, 同时有没有出现混合内容的那些警告信息。
还要测一测服务器的响应时间, 它得低于500毫秒才行。如果里面有任何一个项目出了岔子, 那么爬虫它就干脆不去抓取这一个页面了。这就是为什么新的网站收录起来慢得要命，而这个问题却是最容易被大家忽略掉的常见原因。
补充说明: 上面说的这些办法, 需要配合起来用。不能只单独用其中某一种。新开的网站在前面30天这个时间里, 是会被搜索引擎收录的时期。所以, 建议把方法一、方法二和方法三这几种方式, 同时开展落实工作。而方法四到方法六这些内容, 当作长期的维护事项来做。
如果你在把所有操作都做完以后, 仍然超过7天的时间都没有见到被收录的迹象。那你就要去站长平台里找那个叫做抓取诊断的工具来使用。通过它来查看具体出现了什么样的报错信息。借此来确定到底是什么地方造成了阻碍。
