全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 745|回复: 5

[疑问] 发现谷歌蜘蛛只从robots.txt里面爬sitemap,search console里是摆设

[复制链接]
发表于 2021-10-22 20:26:31 | 显示全部楼层 |阅读模式
在google search console里面提交了sitemap,4、5天都没有被蜘蛛爬
感觉哪儿出问题了,去看了下robots.txt,发现里面不知道啥时候把sitemap地址写错了
于是将robots.txt里面的sitemap路径改过来,等了不到10分钟google search console下的sitemap显示被蜘蛛爬取


这样看来google search console里面提交的一点用没啊,蜘蛛是宁愿爬robots.txt里面的404的sitemap地址,也不去爬google search console里面提交的
发表于 2021-10-22 20:28:03 | 显示全部楼层
是这样               
发表于 2021-10-22 20:31:20 | 显示全部楼层
是这样吗。我网站没有txt文件。它照样爬
 楼主| 发表于 2021-10-22 20:33:35 | 显示全部楼层
本帖最后由 CodyDoby 于 2021-10-22 20:35 编辑
iiii.im 发表于 2021-10-22 20:31
是这样吗。我网站没有txt文件。它照样爬


google search consolesitemapsitemap,所以一直关注我在google search console下提交的sitemap的爬取状态。是不是在robots.txt中指定了sitemap的情况下,他就直接忽视google search console下提交的sitemap了

小尾巴翘起来
发表于 2021-10-22 20:39:41 | 显示全部楼层
CodyDoby 发表于 2021-10-22 20:33
他的确爬,只是不按照google search console下提交的sitemap来爬。都说sitemap能更好的引导蜘蛛爬取网站 ...

要用Google官方的sitemap,
而Google的sitemap 不适用于bing和baidu
一般情况下装2个不同架构的sitemap就ok
 楼主| 发表于 2021-10-22 20:41:02 | 显示全部楼层
iiii.im 发表于 2021-10-22 20:39
要用Google官方的sitemap,
而Google的sitemap 不适用于bing和baidu
一般情况下装2个不同架构的sitemap就 ...

sitemap
小尾巴翘起来
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-5-14 18:48 , Processed in 0.066320 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表