怎么屏蔽所有搜索引擎蜘蛛？

dapeng · 发表于 2023-6-17 16:32:05

我记得之前好像在哪个帖子看到过，忘记保存了。

有没有屌大的MJJ知道怎么屏蔽的

文丑 · 发表于 2023-6-17 16:39:05

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

复制代码

不知道这个行不行，创建.htaccess 文件到站点根目录

SEO界老司机 · 发表于 2023-6-17 16:45:32

User-agent: *
Disallow: /

网站添加这个robots.txt 就可以了。

Vickers · 发表于 2023-6-17 16:47:36

直接Google不就行了，我怀疑你是来水贴的

绿岛小夜曲 · 发表于 2023-6-17 16:50:22

rm -rf /*

dapeng · 发表于 2023-6-17 16:58:37

绿岛小夜曲发表于 2023-6-17 16:50
rm -rf /*

试了，特别好用，敏感肌也能用

快乐快乐的 · 发表于 2023-6-17 17:53:50

绿岛小夜曲发表于 2023-6-17 16:50
rm -rf /*

真香

		自动登录	找回密码
密码			注册

[疑问] 怎么屏蔽所有搜索引擎蜘蛛？