Google蜘蛛真是太强了。有mjj收集了这些蜘蛛吗

专业黑人抬棺 · 发表于 2022-1-7 11:52:23

机器太垃圾了呗，蜘蛛都扛不住，怎么做站

junhan · 发表于 2022-1-7 11:54:19

toot 发表于 2022-1-7 11:46
这点还是懂的哈。就是蜘蛛太多

我前些天也是，一天三四十万GOOGLE蜘蛛

大会员 · 发表于 2022-1-7 11:56:50

https://iflynote.com/h/s/doc/Gr2QeurCnhijwZ5J《谷歌蜘蛛IP》

toot · 发表于 2022-1-7 11:59:07

junhan 发表于 2022-1-7 11:54
我前些天也是，一天三四十万GOOGLE蜘蛛

对。我3个站。访问日志1分钟就产生5-10M日志。全是各大引擎bot。Google最严重。几天下来访问日志都有好几个G

allnetstore · 发表于 2022-1-7 12:00:26

验证一下IP吧，google不会这样爬的

https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot

zinc · 发表于 2022-1-7 12:01:07

toot 发表于 2022-1-7 11:50
这个我倒是全部设为允许的。也不敢动这个啊。怕掉收录。权重还挺高

哦哦我还以为是想彻底屏蔽蜘蛛

chongqi · 发表于 2022-1-7 12:04:02

杜甫也爆那肯定是其他问题。。我typecho博客一天爬虫没那么多也就几万用的cc的2c2g的vps屁事没有

Unique · 发表于 2022-1-7 12:18:06

假装爬虫的cc？

junhan · 发表于 2022-1-7 12:22:29

本帖最后由 junhan 于 2022-1-7 12:30 编辑

Unique 发表于 2022-1-7 12:18
假装爬虫的cc？

有这个可能假装爬虫采集。
但Google蜘蛛有时候来的确实很厉害，一天几十万次，CF防火墙临时设置GG user-agent 访问验证测试了一下，后台拦住的全是GOOGLE的IP，还真不是伪装。

乌鸦 · 发表于 2022-1-7 12:27:47

其实,google蜘蛛真不至于爬挂你的服务器.要么服务器不行,要么你程序不行.

		自动登录	找回密码
密码			注册