不同的域，不同的语言，相同的内容，1 robots.txt

Question

我现在的情况是：

域：

www.example.com
www.example.it

指向不同语言的相同内容。例如：

www.example.com/audi-car.html
www.example.it/audi-auto.html

而我 在根域中只有一个 robots.txt。

我的问题是：如何设置我的 robots.txt 以禁止 www.example.it 抓取来自 www.example.com 的所有机器人并反向抓取？

Answer 1

为每个域编写不同的 robots.txt 并使用 .htaccess 根据请求来自的主机重定向 robots.txt 请求：

    RewriteCond %{HTTP_HOST} ^(.*)\.com$ [NC]
    RewriteCond %{HTTPS}s ^on(s)|
    RewriteRule ^robots\.txt$  /robots-com.txt [L]

    RewriteCond %{HTTP_HOST} ^(.*)\.it$ [NC]
    RewriteCond %{HTTPS}s ^on(s)|
    RewriteRule ^robots\.txt$  /robots-it.txt [L]

确保 RewriteEngine On 置于顶部并启用 mod_rewrite。

不同的域，不同的语言，相同的内容，1 robots.txt

Different domains, different languages, same content, 1 robots.txt

robots.txt