谷歌蜘蛛是最有意思的蜘蛛！

皮卡丘 · 发表于 2021-5-12 09:37:56

robots真的是秒更新的？
前几天设置屏蔽后真的当天就不爬了，昨天下午取消屏蔽了，今天看日志一堆谷歌蜘蛛来爬。

让他爬吧，直接当预缓存了。

a5582323 · 发表于 2021-5-12 09:52:25

什么叫秒更新？robots.txt就像个君子协议，来你家先敲门，你贴了请勿打扰肯定就走了，强行撬门的是土匪

/**
* 有些坚持，经不起一点点希望
* 哪怕是一点光亮，也会让人陷入痛苦。——《撒野》
*/

Gin_Node · 发表于 2021-5-12 09:54:13

a5582323 发表于 2021-5-12 09:52
什么叫秒更新？robots.txt就像个君子协议，来你家先敲门，你贴了请勿打扰肯定就走了，强行撬门的是土匪

土匪这个形容好

kne · 发表于 2021-5-12 10:02:38

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

kne kne 当前离线积分 2537	发表于 2021-5-12 10:02:38 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
kne kne 当前离线积分 2537
	回复支持反对举报