设为首页收藏本站
切换到宽版

全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步，快速开始

全球主机交流论坛»论坛 › 主机综合交流 › 美国VPS综合讨论 › 什么时候整治下垃圾爬虫
CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
返回列表 发新帖
查看: 736|回复: 7

什么时候整治下垃圾爬虫

[复制链接]
phpsky
发表于 2021-6-19 15:08:47 | 显示全部楼层 |阅读模式
昨天刚注册的域名，就放了一个静态首页，日志已经爬了好几M了，基本上都是嗅探的
回复

举报

G.K.D
发表于 2021-6-19 15:09:42 | 显示全部楼层
谁去整治？这归谁管？谁又能管呢。。。
回复 支持 反对

举报

Mio
发表于 2021-6-19 15:13:53 | 显示全部楼层
nginx设置下只允许指定的爬虫
回复 支持 反对

举报

白嫖怪 该用户已被删除
发表于 2021-6-19 15:36:18 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

举报

DemonSky
发表于 2021-6-19 16:22:34 | 显示全部楼层
爬虫就像害虫一样,没办法
回复 支持 反对

举报

Reverie
发表于 2021-6-19 22:24:16 | 显示全部楼层
套CF，国外只允许合法爬虫，完事
回复 支持 反对

举报

发表于 2021-6-19 22:26:15 | 显示全部楼层
多点爬虫，增加收录也不错
回复 支持 反对

举报

baby不卑鄙
发表于 2021-6-19 22:38:59 | 显示全部楼层
又不影响啥
回复 支持 反对

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-5-13 15:37 , Processed in 0.064151 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表