发现谷歌蜘蛛只从robots.txt里面爬sitemap，search console里是摆设

CodyDoby · 发表于 2021-10-22 20:26:31

在google search console里面提交了sitemap，4、5天都没有被蜘蛛爬
感觉哪儿出问题了，去看了下robots.txt，发现里面不知道啥时候把sitemap地址写错了
于是将robots.txt里面的sitemap路径改过来，等了不到10分钟google search console下的sitemap显示被蜘蛛爬取

这样看来google search console里面提交的一点用没啊，蜘蛛是宁愿爬robots.txt里面的404的sitemap地址，也不去爬google search console里面提交的

optimism · 发表于 2021-10-22 20:28:03

是这样

iiii.im · 发表于 2021-10-22 20:31:20

是这样吗。我网站没有txt文件。它照样爬

CodyDoby · 发表于 2021-10-22 20:33:35

本帖最后由 CodyDoby 于 2021-10-22 20:35 编辑

iiii.im 发表于 2021-10-22 20:31
是这样吗。我网站没有txt文件。它照样爬

他的确爬，只是不按照google search console下提交的sitemap来爬。都说sitemap能更好的引导蜘蛛爬取网站的结构，所以一直关注我在google search console下提交的sitemap的爬取状态。是不是在robots.txt中指定了sitemap的情况下，他就直接忽视google search console下提交的sitemap了

小尾巴翘起来

iiii.im · 发表于 2021-10-22 20:39:41

CodyDoby 发表于 2021-10-22 20:33
他的确爬，只是不按照google search console下提交的sitemap来爬。都说sitemap能更好的引导蜘蛛爬取网站 ...

要用Google官方的sitemap，
而Google的sitemap 不适用于bing和baidu
一般情况下装2个不同架构的sitemap就ok

CodyDoby · 发表于 2021-10-22 20:41:02

iiii.im 发表于 2021-10-22 20:39
要用Google官方的sitemap，
而Google的sitemap 不适用于bing和baidu
一般情况下装2个不同架构的sitemap就 ...

我sitemap没问题，这个我知道

小尾巴翘起来

		自动登录	找回密码
密码			注册

[疑问] 发现谷歌蜘蛛只从robots.txt里面爬sitemap，search console里是摆设

浏览过的版块