现在的搜索引擎是不是会＂隐秘式＂抓取？

squalll

新站北岸下来，刚上线1天。除了提交搜索引擎外，其他啥宣传都还没干过

以前有老站在国外，发现有很多河南数据中心IP抓取，我当时甚至以为是CC攻击,我还纳闷为什么这么多河南,甚至一直开了5秒盾封堵,现在排名也全没了,当然这不见得是一回事,大概1年前开始的.

这新站发现也来了很多36和111开头的河南数据中心抓取，手法类似蜘蛛，但是UA就是普通访客。手法类似是因为每秒同段不同结尾的IP抓取不同的URL

就以前的经验假设就算是MJJ采集或者有什么攻击（新站不可能吧），是不会用类似蜘蛛的手法（不怕你疯他IP，他达不到目的抓不到了）一般都是同一个IP慢抓或者照死里抓。

感觉如果是,那可能就是类似于,现在搜索被作弊搞恶心了,也学的把自己隐秘式了,不说我是蜘蛛,反正我抓了,至于放不放出,我审核后再说吧

你们觉得呢?

Tou

啥隐秘式，几大搜索引擎都会去模拟真实用户，抓了也不给流量，甚至不按协议抓取，自动封它ip就轮动整个ip段来抓，比如头条和流氓360

华盛顿

普通人做采集可能会吃免费饭，大厂做采集，合理合法

ip4

河南的ip是挺多的，也不知道是干嘛的？有人说是再爬数据看有没有违规之类的

hxuf

这玩意要么是360的。要么就是未知爬虫。反正封了也没事。

yanshao

还好直接阻断China mainland