全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 2173|回复: 22

Google蜘蛛真是太强了。有mjj收集了这些蜘蛛吗

[复制链接]
发表于 2022-1-7 11:42:59 | 显示全部楼层 |阅读模式
一开始用的2+2配置。蜘蛛一来。cpu直接爆。怀疑配置低了

现在升级为E3-1246  32G内存独服。蜘蛛一来还是直接爆

cc策略对Google蜘蛛没用。因为都不是单ip  Get。只有单个封ip。但是Google太多ip了

求一份Google蜘蛛ip名单。直接套用。应该有mjj收集了吧
发表于 2022-1-7 11:44:17 | 显示全部楼层
你程序有问题,优化优化吧
发表于 2022-1-7 11:45:50 来自手机 | 显示全部楼层
蜘蛛能有多少并发。肯定程序有问题
 楼主| 发表于 2022-1-7 11:46:06 | 显示全部楼层
konks 发表于 2022-1-7 11:44
你程序有问题,优化优化吧

这点还是懂的哈。就是蜘蛛太多
发表于 2022-1-7 11:47:11 | 显示全部楼层
你以为是蜘蛛,实际上怕不是一堆采集捞
发表于 2022-1-7 11:48:20 来自手机 | 显示全部楼层
屏蔽c段 66开的很恶心
发表于 2022-1-7 11:48:49 | 显示全部楼层
咦 robot.txt 限制没用吗?
发表于 2022-1-7 11:49:21 | 显示全部楼层
什么站,发出来让MJJ们帮你考验考验
 楼主| 发表于 2022-1-7 11:50:28 | 显示全部楼层
zinc 发表于 2022-1-7 11:48
咦 robot.txt 限制没用吗?

这个我倒是全部设为允许的。也不敢动这个啊。怕掉收录。权重还挺高
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-5-11 14:50 , Processed in 0.061068 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表