屏蔽百毒爬虫百毒还是一堆搜索结果怎么办

专业黑人抬棺

如果不是伪装的蜘蛛，那也没办法，本来 国内的搜索引擎就很流氓，从不看
robots.txt

比如 今日头条 ，你全屏蔽了它蜘蛛也每天来

cheshirex

naohion 发表于 2021-5-6 14:43
等了一周它还在爬我新文章，而且排名很高，都想把域名卖了

我记得我有个站几个月了才更新。