需要 robots.txt 中的 target/disallow 个子域

Question

早上好。

所以，我运行陷入了一个棘手的境地。我的环境是一个 2 服务器镜像设置。我有 2 个子域，可以在需要时专门针对每个服务器。我想在不影响 www.

的情况下禁止对 2 个子域进行索引

例如，我有sub1.domain.com/sub2.domain.com/www.domain.com。它们都指向同一个网站根目录。仅仅说 robots.txt 中的用户代理不允许是行不通的，因为它会删除 www 的索引。

如有任何问题，请随时提出。

谢谢！

Answer 1

您可以放置一个 robots.txt 文件并将其命名为 no-index-robots.txt。你只需输入：

User-agent: *
Disallow: /

在那里。然后在文档根目录的 htaccess 文件中，添加：

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(sub1\.|sub2\.)domain\.com$ [NC]
RewriteRule ^robots\.txt$ /no-index-robots.txt [L]

Need to target/disallow subdomains in robots.txt