把 sitemap 文件给提交上去, 是加快让新的域名被收录起来的最直接而且最有效的那个办法。搜索引擎能够通过 sitemap 去比较快地找到整个网站的所有的页面的 URL, 这样能够大幅度地缩短搜索爬虫进行爬取的路径。
它能够把一个新站从开始到被收录的这个周期, 从可能需要好几个周的时间, 压缩变成只有几天这么短的时间在下面就是对于完整操作流程以及对关键的一些事情需要注意的地方所做出来的一个介绍和列出。
sitemap文件制作规范
你应当是采用XML格式, 然后呢, 把文件名设为sitemap.xml, 最后把它放在网站的根目录下, 比如说, 在https://yourdomain.com/sitemap.xml这个位置这样。
每个URL都需要包含这几个部分, 第一部分是
每个单文件的URL上限设定为5万条, 同时该文件的大小上限被限定在50MB, 这一限制是不包含压缩操作在内的。
建议将新站的所有页面全部写入到一个sitemap文件中, 并且URL必须是HTTPS协议的完整地址, 不可以携带任何参数碎片, 也不可以省略协议头部分。
各搜索引擎提交入口
当这个内容被提交成功之后呢, 相关的搜索引擎通常会在之后的二十四小时到七十二小时左右的时间范围内, 去完成它首次的那个抓取还有调度任务这件事。
提交后加速收录的关键动作
1. 提交当日, 我们要同步使用各个平台提供的URL批量提交功能或者快速收录通道, 把这些核心页面的URL一条接着一条进行提交。
2. 我们要保证那个服务器的响应时间得不到3秒, 也就是少于3秒, 然后页面里面不能有403这样的错误状态码, 也不能有404这样的错误状态码或者类似的错误状态码。
3. 对于优先级别的设置, 首先是首页的权重被定为一比零, 其次是核心内容页面的权重设为零点八, 而次要页面的则设定为零点五。
4. 在新站启动的前两个星期, 坚持每天提交一下URL, 来保持一个高频次的抓取节奏。
5. 需要配合发出两到三篇具备实际价值的原创内容文本。这样做是为了方便网络爬虫程序能够抓取并收录这些文本信息。
常见错误与规避
在把这些内容提交之前, 务必要去用一下在线的XML校验工具来检查格式是不是合法, 因为如果出现语法方面的错误的话, 会导致整个文件被搜索引擎给拒绝掉。
新域名完成备案或者完成DNS解析之后, 用户需要耐心等待四个小时直到48小时这段区间的时间来最终确认域名是可以被正常打开并且访问得通的, 然后再去执行提交这个动作。
在编制sitemap文件的过程中, 是严格禁止把那些需要用户登录才能访问的页面写进去的。同时, 也绝对不能将需要进行Cookie校验或者已经被设置为noindex设置的页面收录到sitemap里面去。
你需要去检查robots.txt那个文件里, 是不是存在像Disallow /这样的全局拦截规则, 以免因为采取了这样的屏蔽策略, 把那些你提交给sitemap的URL给挡住了。
不管是使用常规的域名, 还是提交像`gname.xin`这样的短尾域名, 所经历的流程以及需要满足的要求, 都是一模一样的, 不存在任何额外的特殊限制。
收录进度判断
按照上述这样的流程去进行完整的一套操作, 然后呢, 新的这个域名的核心页面通常来说都是在3到7天的这个时间段之内进入到搜索引擎的索引里的, 至于说全站的这些页面呢一般是在2周的这样一个时间内基本就可以完成收录了。
如果在超过了14天以后仍然一点点的收录进展都没有的话, 那么就要优先去排查那三个基础的问题了, 哪三个问题呢就是robots.txt有没有拦截、服务器是否可用以及SSL证书是否有效这三项内容。
