Google蜘蛛真是太强了。有mjj收集了这些蜘蛛吗

toot · 发表于 2022-1-7 11:42:59

一开始用的2+2配置。蜘蛛一来。cpu直接爆。怀疑配置低了

现在升级为E3-1246 32G内存独服。蜘蛛一来还是直接爆

cc策略对Google蜘蛛没用。因为都不是单ip Get。只有单个封ip。但是Google太多ip了

求一份Google蜘蛛ip名单。直接套用。应该有mjj收集了吧

konks · 发表于 2022-1-7 11:44:17

你程序有问题，优化优化吧

tianky · 发表于 2022-1-7 11:45:50

蜘蛛能有多少并发。肯定程序有问题

toot · 发表于 2022-1-7 11:46:06

konks 发表于 2022-1-7 11:44
你程序有问题，优化优化吧

这点还是懂的哈。就是蜘蛛太多

winamp · 发表于 2022-1-7 11:46:41

屏蔽蜘蛛，，

笑花落半世琉璃 · 发表于 2022-1-7 11:47:11

你以为是蜘蛛，实际上怕不是一堆采集捞

ceng · 发表于 2022-1-7 11:48:20

屏蔽c段 66开的很恶心

zinc · 发表于 2022-1-7 11:48:49

咦 robot.txt 限制没用吗？

aeo · 发表于 2022-1-7 11:49:21

什么站，发出来让MJJ们帮你考验考验

toot · 发表于 2022-1-7 11:50:28

zinc 发表于 2022-1-7 11:48
咦 robot.txt 限制没用吗？

这个我倒是全部设为允许的。也不敢动这个啊。怕掉收录。权重还挺高

		自动登录	找回密码
密码			注册