很多网站一直都没办法被搜索引擎收录, 这往往不是什么单一的原因在作祟, 而是内容质量、技术手段以及提交策略这三个环节全都存在不足。
如果想要提高网页被收录的速度, 核心操作方法其实分成六个步骤: 一个是主动提交, 第二个是构建内部链接, 第三个是保持稳定更新的节奏, 第四个是确保技术方面符合规范要求, 第五个是建立权威的友情链接或者外链, 第六个则是进行持续的监控工作。下面会对这些具体的操作要点做逐一详细的说明。
主动提交与Sitemap配置
不要指望搜索引擎能够“碰巧”地把你的网页页面给找着。你应该把完整的Sitemap（也就是XML这种格式）放在站点根目录下面, 比如说是像/sitemap.xml这样的位置。同时, 你要到百度资源平台或者是Google Search Console这些官方给出的工具里面去做提交。
要是你发布了新的页面, 或者是对已有的页面做了更新, 那么应该通过URL提交接口来进行主动推送, 这样就能够把发现的时间周期给缩短掉。
咱们拿gname.xin这个实际操作的方案举例子说明, 它的Sitemap里面包含的是全站所有的URL地址, 而且每天都是在进行那种增量式的更新操作, 再配合上API这种主动推送的方式存在之后，新的页面从刚发布出去到最终被搜索引擎收录进去, 这个平均所耗费的时间长度已经从原来的14天大幅缩短变成了2天以内。
构建清晰的站内链接结构
搜索引擎里的爬虫工具, 它们主要是靠内部的链接来发现那些新增加的页面的, 所以对于每一条新内容来说, 它至少应该被两到三个权重比较高的内页链接所指向, 面包屑导航以及分类页面需要把各个子页面给全部覆盖住, 不要出现层次太深的嵌套情况, 我们建议这里的层级不要超过三级, 这样做就是为了确保爬虫从首页开始出发, 在点击三次以内就可以到达任意的一个目标页面。
保持稳定的内容更新频率
搜索引擎会给那些更新节奏保持稳定的网站分配一个比较高的抓取优先级。建议大家每周至少发布一到两篇原创内容, 以避免长时间没有任何内容更新之后, 突然一次性大量发布的现象发生。页面上的更新时间戳必须真实反映出内容的实际变更情况, 不可进行虚假的时间刷新操作。
技术层面的合规优化
移动端页面加载时间控制在2秒以内
检查robots.txt灵音心图，确认未误屏蔽目标URL
对重复页面使用canonical标签指定唯一地址
关键内容不依赖JavaScript渲染，确保爬虫可直接读取
HTTPS证书有效提升网站收录速度的方法提升网站收录速度的方法，页面无混合内容警告
建立外部权威信号
想办法去弄到那些跟咱们自己的主题特别搭的、来自于行业里有权威的站点的自然的链接, 以此来把整个域名的权重给提上去。在找这些来源的时候, 优先考虑那些内容相关度高的对象, 要尽量躲避那些乱七八糟的低质量链接聚集的地方。
给行业媒体写稿子进行发布、跟合作伙伴实现相互链接、还有通过技术博客来进行交叉引用, 这些都是可以用来做有效补充的好渠道。
持续监控与迭代修复
每周都去看一下搜索引擎资源平台里面的那个关于抓取的统计报告, 还有索引覆盖率的那个报告, 要把那些没有被收入搜索引擎的具体原因给找出来, 比如说是不是因为抓取预算不够, 或者是内容质量被判得比较低, 再或者就是有重复的内容这样的乱七八糟的原因, 找到原因以后就去针对性地进行修复, 修好了以后再重新把这些页面提交上去, 这样就形成了一个从头发现到中间修复再到最后去验证的一个完整的小圈套循环, 也就是那种叫作发现, 然后是修复, 最后是验证的一个闭环过程。
按照实施优先级的高低来对这六个步骤进行排序的话就是: 技术合规排在最前面, 其次是主动提交, 然后是内链结构, 接着是内容更新, 再往后是外链建设, 最后是持续监控。
至于为什么这么排, 主要是因为前两个步骤主要用来解决能不能被爬虫抓取到的这个问题, 中间的两个步骤主要是用来解决搜索引擎是不是有意愿把这个页面收录到它自己的数据库里来的这个问题, 而最后面的那两个步骤, 则是为了能够保障被收录内容的质量以及让这种收录状态在长时间内保持稳定不变, 只有按照这个规定的顺序去一步一步地进行排查并且把这每一步都切实地落到实处, 才能够系统性地让网站的整个收录速度变得更快起来。
