Robots.txt 具有多个域站点地图条目

Question

我们的网站有很多域名，例如：

example.co.uk
example.in
example.co.eg
...

所以在 robots.txt 中应该有一个条目显示我们的站点地图文件所在的位置。

所以我的问题是：

我们每个域都有很多站点地图文件，那么如何在一个 robots.txt 文件中分别为每个域放置这些条目？

Answer 1

假设您对所有域都有相同的机器人规则，将您的单个 robots.txt 放入根目录并将所有站点地图链接放入其中。 我认为站点地图链接看起来像

http://www.example.co.uk/sitemap.xml http://www.example.in/sitemap.xml http://www.example.co.eg/sitemap.xml

或者你可以建立这样的结构

/robots/co-uk.txt /robots/in.txt /robots/co-eg.txt

根据站点地图链接放入其中，并根据用户所在国家/地区动态传送

<ifModule mod_geoip.c> GeoIPEnable On RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$ RewriteRule ^robots\.txt$ robots/co-uk.txt [L] </ifModule>

为此，您应该安装 mod_geoip 或 ip2location。如果使用 ip2location，请将 GEOIP_COUNTRY_CODE 替换为 IP2LOCATION_COUNTRY_SHORT。