全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 2301|回复: 12

屏蔽百毒爬虫百毒还是一堆搜索结果怎么办

[复制链接]
发表于 2021-5-6 12:00:40 来自手机 | 显示全部楼层 |阅读模式
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2021-5-6 12:33:15 | 显示全部楼层
robots.txt也不行吗
 楼主| 发表于 2021-5-6 12:36:30 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2021-5-6 14:15:56 | 显示全部楼层
naohion 发表于 2021-5-6 12:36
最早就是用淘宝https://www.taobao.com/robots.txt的那个

User-agent: Baiduspider

索引要等段时间才更新的。
发表于 2021-5-6 14:19:45 | 显示全部楼层
是不是大姐姐网站,然后自己私有享用被爬了
 楼主| 发表于 2021-5-6 14:43:33 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-28 22:00 , Processed in 0.060434 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表