在多语言站点中使用“robots.txt”

Question

必须管理一个多语言网站，用户被重定向到网站的本地版本，例如

myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...

如何组织 robots.txt 文件与站点地图配对？

myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt  // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt  // with - Sitemap: http://myBurger.com/fr/sitemap

知道 en 和 fr 网站实际上是独立的实体，即使外观相似，也不共享共同的内容。

Answer 1

你需要在顶层放一个robots.txt。

The robots.txt file must be in the top-level directory of the host, accessible though the appropriate protocol and port number.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Answer 2

将 robots.txt 放在根目录下：myBurger.com/robots.txt 并使用 sitemap: 指令在 robots.txt 文件中注册站点地图（参见示例 I maintain 如有必要）。

在多语言站点中使用“robots.txt”

Use `robots.txt` in a multilingual site

sitemap

seo

robots.txt