有没有熟悉百度站长提交sitemap的，怎么填都是抓取失败。

楼主| 发表于 2023-8-25 16:48:53 | 显示全部楼层

测试抓取发现提示是robots.txt封禁，我看了下robots.txt，果然是程序默认的robots.txt禁止抓取/data/目录，但是我修改了robots.txt，已经不再禁止抓取这个目录了，再测试仍然是抓取失败。

修改后的robots.txt如下：

回复支持反对

12 / 2 页

GMT+8, 2026-2-6 23:00 , Processed in 0.063244 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

		自动登录	找回密码
密码			注册