把网站的网站地图提交上去大城群众说事，这是让搜索引擎收录你的域名最快、最靠谱的方式。通过主动向主要的搜索引擎投递站点地图文件, 你能够让网络爬虫在不超过四十八小时的时间段内, 发现并且抓取到你刚刚增加的网页内容。
这种做法比起被动地等待系统慢慢自己收录, 速度方面能够提升大概五到十倍之多。下面的部分将会详细展示完整的操作步骤以及需要遵守的具体规定。
Sitemap的作用机制
Sitemap（站点地图）, 它就是用XML或者是纯文本的格式, 把网站上面所有的那个URL的清单给列出来。然后通过各搜索引擎所提供的提交接口来进行配合。
这样的话, 它就属于那种主动推送的机制。它能够非常显著地缩短在新站或者是新页面刚上线之后, 所产生那个收录的延迟时间。也就是避免让爬虫在发现页面的时候, 仅仅是靠着外部的链接去碰运气。
提交前准备
使用站点地图生成工具来生成sitemap文件, 这个操作就是用来输出为sitemap.xml, 其中要包含各页面的URL, 还要包含lastmod, 也就是最后修改时间, 还要包含changefreq, 也就是变更频率, 还要包含priority, 也就是优先级这些字段。
文件规格要把sitemap.xml放到了网站的根目录位置, 单个的文件内容不能超过5万条网址, 文件大小不能超过50MB, 如果发现超出了限制的话, 就需要把内容进行拆分, 然后通过sitemap索引文件来汇总整理。
声明引用, 需要在 robots.txt文件里面加上 Sitemap: https://yourdomain.com/sitemap.xml 这行内容, 这样一来, 爬虫就能自动发现这个地址了。
域名核验: 拿gname.xin这个例子来说, 你在提交之前需要确认一件事儿, 就是这个域名的站长身份检查, 得先在目标的那个平台上把验证给完成了, 要么是通过DNS TXT记录这种方式去验证, 要么就是用HTML文件这种方式去验证。
各平台提交流程
你在提交之后需要密切关注那个数据的解析结果, 万一碰到了像404或者格式不正常的这些错误的话, 就应该赶紧去进行修正, 然后再把材料重新提交上去。
补充加速策略
针对API推送这一方式, 百度提供了快速收录的API接口, 它比较适合那些更新频率比较高的站点, 用来进行逐条推送的操作。
内部链接优化, 要确保从首页到目标页面的点击深度不要超过3级, 以此来增强爬虫的可达性。
上线节奏就是在新的网站正式开放并可以被访问以后, 需要在头三天也就是72个钟头以内把这个网站的地址给提交上去, 并且在提交完毕之后, 要每隔48个小时就重新检查一遍搜索引擎是否已经收录了这个信息。
结构化数据方面, 它嵌入了JSON-LD这一类标记, 这种标记是用来辅助搜索引擎去理解当前页面内容的语义含义的, 这样一来, 就能提升收录的相关质量。
常见问题
Q：提交后多久可见收录？
A那边的百度普通收录周期大概是7到30天, 如果用快速收录接口的话几个小时就会生效, B那边说的是与Google以及Bing通常24到72小时内就完成了首次抓取, 但要把内容收录并展示出来通常需要花费1到2周。
Q：提交失败显示403或404？
A说的是, 403这个提示代表权限被拒绝了, 这时候需要检查一下robots.txt文件是不是把sitemap的路径给屏蔽掉了, 而404这个提示意味着文件不存在, 这种情况下得确认一下部署的工作是否正确, 并且还要确保URL是没有错误的。
Q：changefreq如何设置？
这个字段属于建议性的数值, 它并不是一个必须遵守的承诺。针对内容保持稳定不变的网络页面, 应当将其设置为monthly或者weekly。面向那些高频进行信息更新的网络页面, 应当将其设置为daily。这样做可以有效地防止出现数据虚高的情况发生, 从而能够实现对爬虫资源浪费现象的有效避免。
