当一个网站提交之后, 经过了很长时间依然没有被收录进去的话, 根本原因往往集中在这样三个方面, 第一方面是文章内容或者信息的整体质量并没有达到搜索引擎进行抓取和审查时所要求的标准, 第二方面是网站本身在技术上面的结构设计存在某种阻碍, 导致那些专门用来抓取数据的程序无法正常或者顺利访问这个网站的各个页面, 第三方面是这个网站缺乏足够多的、能够向搜索引擎释放出信号的外在因素, 从而让搜索引擎对它产生一种信任感, 下面这五个方法可以按照它们见效快慢的先后顺序来进行排列和使用, 因为这五个方法基本上把内容好坏、技术手段以及外界信任信号这三个主要的方面全部涵盖在了里面, 这样做可以帮助我们更有条理地、系统性地去缩短一个网页从被提交到真正被搜索引擎收录进来所需要的时间周期。
通过站长平台主动提交URL
这是见效最快的单一动作, 登录百度站长平台或者Google Search Console, 把新发布页面的URL主动提交到一个叫做抓取需求或者是URL检查的通道里面去, 爬虫会在数小时内访问该页面, 不需要等待自然抓取周期, 操作建议是每天固定时段将该24小时以内新增URL全部提交一次, 形成固定节奏。
我们以gname.xin的实践来做例子, 这个站点在每一次内容更新完成之后, 会马上利用API来批量提交URL, 把收录周期从行业平均的14天压缩到了48小时以内, 效率得到了显著的提升。
保持内容高频且高质量更新
搜索引擎把站点活跃度的权重放在核心指标的位置上, 所以咱们得照着标准去干活, 也就是每周必须发布至少两篇原创的内容, 而且每一篇内容的有效字数还得不低于八百字, 内容的信息密度要高, 还得让读者觉得有明显的价值, 绝对不能出现那种AI拼凑或者是洗稿之类的痕迹。
同时呢, 还要把那些没啥价值的页面清理掉, 比如说空分类页、纯标签归档页还有重复内容的模板页, 因为这些页面会拉低整个站点的品质得分, 这样就会拖慢所有正常页面的收录速度。
优化网站技术结构提升网站收录速度的方法提升网站收录速度的方法大城新闻网，消除抓取障碍
需要对以下这些技术方面的要素一个一个地进行仔细检查, 看看sitemap.xml这个文件是不是能够正常生成出来, 里面的内容是否包含了所有能够被搜索引擎收录的网页地址, 并且确认这些地址对应的HTTP状态码都是200, 再来看看robots.txt这个文件里面, 是不是出现了不小心把一些重要的网站目录或者页面给屏蔽掉了的错误情况, 还要关注手机端的网页在显示第一屏画面的时候, 加载所用的时间是不是真的被控制在了比2秒钟还要更短的时间范围内, 最后还需要检查一下整个网站所使用的HTTPS安全证书是不是还在有效的期间之内, 同时要避免出现因为重定向链条太长而导致的一些问题存在。
在技术这个层面必须要做到顺畅, 爬虫才能够实现对整个网站的高效遍历工作, 这样才能避免“抓得到但是索引不了”这种状况一再出现的问题发生。
获取高质量外部引用链接
来自那些权重很高的网站的、自然地获得的外链信号, 是搜索引擎用来判定一个页面到底有没有价值的一个非常关键的外部依据。我们应该优先去争取那些来自行业垂直类媒体、权威的行业内目录站点、还有与学术研究以及政府官方相关站点的引用链接。
这里面的最核心原则就是把质量放在比数量更重要的位置, 也就是说, 五条来自于网站首页且权重都很高的自然引用链接, 它们所起到的正面效果, 远远超过几百条那种在论坛里或者低质量目录网站上批量堆砌起来的链接所带来的影响。
千万不要花钱去购买那些质量很差的外链信息, 因为一旦你的行为被系统判定为是在操纵搜索结果排名, 那么你的整个网站就肯定会遭到降权的处理结果。
定期监控抓取与索引报告
每周都要在站长平台这个地方, 去查看抓取统计、索引覆盖率以及排除原因这三项报告, 从而能够定位到那些具体报错的页面。
对于那种反复返回错误代码404和503的地址，一定要及时处理修复, 或者把它从站点地图里面移除掉；对于那些被搜索引擎主动排除掉的页面, 要照着提示信息, 调整meta标签或者robots指令这些内容。一直这么持续地监控下去, 就可以避免网络爬虫因为多次访问失败而自动降低这个站点的抓取频率。
常见误区与禁忌
不要去频繁地更换域名, 因为每次进行这样的更换在某种意义上相当于要重新建立信任；不要去在短时间内批量删除旧的内容, 因为这样做会触发整个站点重新进行评估；不要使用那些违反搜索引擎规范的各种短期手段, 例如说隐藏文字、关键字堆砌这种操作, 或者欺骗性的锚文本等等。
上面提到的这些操作, 非但不能够加速收录, 反而还会直接导致降权, 甚至被除名。
