一个网站有2个域名，能不能禁止搜索引擎抓取起中一个？

M100700

两个都放开会影响权重，能不能禁止起中一个被抓取？

蝙蝠侠

可以

M100700

蝙蝠侠 发表于 2022-9-20 18:08
可以

怎么搞？去Google账号里设置还是写在robot.txt?

沙龙

在其中一个站的robots.txt上，配置disable。
如果2个域名使用的是相同内容，你得配置2个webserver，其中一个配置disable即可。

soyeo

<link rel="canonical" href="https://">

lonefly

在不需要抓取的站点下添加：

1.         location ~ (robots.txt) {
   
2.             rewrite /robots.txt /wrobots.txt last;
   
3.         }

复制代码

新建个wrobots.txt为不需要被抓取
User-Agent: *
Disallow: /

M100700

沙龙 发表于 2022-9-20 18:12
在其中一个站的robots.txt上，配置disable。
如果2个域名使用的是相同内容，你得配置2个webserver，其中一 ...

2个域名都用一样的内容。不能使用同一个网站源文件么？必须复制一份哇？

沙龙

M100700 发表于 2022-9-20 18:21
2个域名都用一样的内容。不能使用同一个网站源文件么？必须复制一份哇？ ...

配置2个webserver，指向相同内容。

在A域名上，通过nginx的location指定robots.txt，不清楚是否可行。

M100700

soyeo 发表于 2022-9-20 18:14

这个好像可以。我研究一下
https://yoast.com/rel-canonical/

M100700

lonefly 发表于 2022-9-20 18:18
在不需要抓取的站点下添加：

多谢，可以试试。