在多语言站点中使用“robots.txt”
Use `robots.txt` in a multilingual site
必须管理一个多语言网站,用户被重定向到网站的本地版本,例如
myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...
如何组织 robots.txt
文件与站点地图配对?
myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt // with - Sitemap: http://myBurger.com/fr/sitemap
知道 en
和 fr
网站实际上是独立的实体,即使外观相似,也不共享共同的内容。
你需要在顶层放一个robots.txt。
The robots.txt file must be in the top-level directory of the host,
accessible though the appropriate protocol and port number.
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
将 robots.txt
放在根目录下:myBurger.com/robots.txt
并使用 sitemap:
指令在 robots.txt
文件中注册站点地图(参见示例 I maintain 如有必要)。
必须管理一个多语言网站,用户被重定向到网站的本地版本,例如
myBurger.com/en // for users from US, UK, etc..
myBurger.com/fr // for users from France, Swiss, etc...
如何组织 robots.txt
文件与站点地图配对?
myBurger.com/robots.txt // with - Sitemap: http://myBurger.com/??/sitemap
OR
myBurger.com/en/robots.txt // with - Sitemap: http://myBurger.com/en/sitemap
myBurger.com/fr/robots.txt // with - Sitemap: http://myBurger.com/fr/sitemap
知道 en
和 fr
网站实际上是独立的实体,即使外观相似,也不共享共同的内容。
你需要在顶层放一个robots.txt。
The robots.txt file must be in the top-level directory of the host, accessible though the appropriate protocol and port number.
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
将 robots.txt
放在根目录下:myBurger.com/robots.txt
并使用 sitemap:
指令在 robots.txt
文件中注册站点地图(参见示例 I maintain 如有必要)。