继续研究seo,目前站点全部改成了纯静态的,发现蜘蛛每天都访问了sitemap站点文件,其它的都不爬,这样到底可以快速收录内容页吗?
结合网友的文献来研究一下:
网页蜘蛛来到一个网站目录下第一个访问的文件应该是robots.txt,正常的情况下应该是看这个文件有还是没有,没有就表示整个网站都可以抓取,有就要看文件中的具体限制来抓取,这是正常搜索引擎的一个规定。至于访问完robots.txt后第二个应该访问的是首页还是sitemap的文件这个网上说法有点争议,但是我倾向相信第二访问sitemap文件,我以我网站上一段蜘蛛访问日志来侧面证明一下:
这样看来,蜘蛛极少爬首页,而是直接爬sitemap的各种文件,xml也好,txt也好,相当于说新站点只是在爬站点地图,其它的很少爬,目前来看,其它的偶尔爬一下主页,内页一个没有爬。
另外,网文说站点地图被蜘蛛访问,如果出现304的话,说明是站点地图里面的内容没有更新。如下图所示:即站点地图没有更新所致。
另外:持续更新的原创是网站快速收录的硬道理!如果原创比较多而且频率搞的话,几乎不做seo也会快速被收录的。
上一篇:WordPress的固定链接如何设置?
下一篇:最后一页