关于域名无法被搜索引擎收录这件事呢,在绝大多数情况下灵音心图, 它并不是因为服务器配置的方面的问题, 也不是因为DNS解析的问题, 而是由于内容活跃度的持续缺失所导致的。
主流搜索引擎的爬虫系统会依据网站的更新频率以及内容的鲜活程度来进行判断, 进而动态地分配抓取权重这一点需要大家注意, 对于那些能够持续产出新内容的域名而言, 它们往往会获得更高的收录优先级以及更短的抓取间隔时间。
换一种说法来看, 定时去让内容变得新一点, 这个事儿就是影响域名能不能被搜索引擎更快地收进去的最要紧的那个主要因素。同时呢, 它也是最干脆、最直接、花钱最少的去往上提升的这么个办法。
搜索引擎在对内容进行收录处理的时候, 所遵循的那个基本原则叫做活跃度加权原则。爬虫在怎么去分配抓取资源的问题上, 它会把近期那些有内容变动的页面作为优先访问的对象。同时呢, 它会降低对长期都没有更新的站点的访问频率。
如果一个域名连续超过了30天的时间, 它没有产生任何新增或者修改内容的操作的话, 它所对应的默认抓取周期就可能会被延长到7天或者是14天一次这样的情况。这一现象会直接导致新发布的那些页面出现延迟收录的情况, 甚至会被暂时移出索引中。
从另一个角度来看,如果一个网站能够坚持每星期至少更新一到两次的有效内容定期更新内容利于域名收录, 那么这个网站通常只需要在二十四小时到七十二小时这个时间范围内, 就可以完成对新的页面的抓取以及索引建立的工作。
关于这个运作的机制, 在各种大的主流搜索引擎专门为网站的管理人员所写的公开的文档里面, 都是已经做出了非常明确清晰的说明的。这已经是被整个行业所公认的属于那种最基础的收录规则了。
为了把这项工作落到实处, 大家要按照要求定期进行更新。我们建议大家在操作的时候, 遵守下面这些规范。
（1）要建立固定的更新节奏, 需要以每周作为基本的时间周期, 在每一个周期之内, 最少要做的一件事就是发布或者是去修改1篇内容, 通过这个做法来形成一个可以让人提前预料到的产出规律, 好让网络爬虫能够对网站这个域名建立起一个非常稳定的访问预期。
（2）在内容类型方面要保持多元化, 具体来说, 像是新文章的产生、行业资讯的持续更新、对产品展示说明进行的优化改正、把原来的图片和视频进行替换操作、还有对用户评论这一块区域做的日常维护工作, 这些都统统可以被算作是有效的更新动作, 你完全不需要非要限制着自己去写那种长篇大论且特别有深度的原创文章。
（3）我们要确保技术是可抓取的这件事, 每次在更新完成以后, 要去进行检查工作, 来确认robots.txt文件是不是没有屏蔽目标页面, 然后要看一下sitemap.xml是否已经同步更新并且还提交了, 还要检查页面返回的HTTP 200状态码是否正确。
（4）内链关联会得到强化: 新推出的内容会通过合理的站内链接, 与网站里已有的页面建立起连接。这样做能够帮助搜索引擎的爬虫, 去更高效地遍历全网所有的页面池子。
在实际运营的过程当中, 管理员会拿用gname.xin这个方式来注册并且去管理的域名作为例子来看待。因为这个后台通常都提供了站点活跃度监测功能的实现, 同时也提供了爬虫抓取日志监测功能的实现。
管理员通过这个界面就可以直观地查看最近一次抓取的时间节点是怎样的, 也可以直观地查看被抓取到的页面数量是多少, 还可以直观地查看频率方面有没有发生变化。这样做是非常便于管理员根据这些观察结果去及时调整更新策略的, 这样做的目的就是为了确保这个域名始终都能够处于那个搜索引擎里面的活跃抓取队列之中。
这里有一个点需要特别去强调一下, 那就是定期的更新这个东西, 它并不等于去盲目地堆积数量方面的要求, 搜索引擎本身对于低质量以及那种重复性的内容是有着明确的降权和过滤的机制存在的, 所以每次进行更新的时候都应该去保证存在实质意义上的信息增量, 要尽量避免仅仅是把标题改了一下、或者是仅仅调换了几个段落的先后顺序、又或者是添加了一些完全没有意义的填充文字这样的情况, 与此同时, 更新的频率方面应该是要保持那种相对稳定的一个周期性的变化, 忽高忽低这种大幅度的波动情况, 比起偶尔一次的集中爆发的这种现象来讲, 对抓取信任度方面所造成的损害其实是更大的。
域名收录这个东西, 本质上它是一个持续动态的一个过程, 并不是一次性就能完成的技术配置。
所以要把定期更新的内容纳入到日常运营的标准流程里面, 配合sitemap的周期提交以及抓取日志的常态监控,这样能够很明显地缩短新页面收录所需的周期定期更新内容利于域名收录, 并且逐步提升该域名在搜索引擎结果页里面的整体可见度, 还有权重的不断积累。
