360果然是流氓起家，连360蜘蛛都搞伪装不规矩

Tou

42.236.10.114 爬虫的User-agent好JB恶心
baidu.sogo.uc.UCBrowser 再带个 com.alibaba.android.rimet        
有时候还要带个referer是http://baidu.com/


这是要嫁祸还是要搞个大厂联合蜘蛛？

为啥说42.236.10.114是360家的，因为 http://s9.qhres2.com/static/7435af08d546fe05.pdf 里面写了这个ip，qhres2是360家的


有一说一，还挺智能的，分析出了我限制了每分钟爬取页数，超过就会ban掉ip，每天就按这个限制过来爬刚刚好 我是今天刷了日志才发现的


42.236.10.114 - - [17/Mar/2022:00:05:10 +0800] "GET /xx.jpg HTTP/1.1" 302 138 "http://www.***.com/" "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-CN; EML-AL00 Build/HUAWEIEML-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.108 baidu.sogo.uc.UCBrowser/11.9.4.974 UWS/2.13.1.48 Mobile Safari/537.36 AliApp(DingTalk/4.5.11) com.alibaba.android.rimet/10487439 Channel/227200 language/zh-CN"

heyxiu

ping0cc 收集了大部分的蜘蛛IP
https://ip.ping0.cc/ip/42.236.10.114

Reverie

恐怕不是正常蜘蛛，特殊类型的（检查和谐内容并上报所以需要伪装UA）