如何使用 robots.txt 禁用 sitemap.xml

Question

我为我的网站定制了 robots.txt。 我有兴趣禁止 sitemap.xml，所以我的问题是：写

是否足够

Disallow: /sitemap.xml ?

Answer 1

这个robots.txt

User-agent: *
Disallow: /sitemap.xml

允许所有机器人抓取您主机上的所有内容，路径以 /sitemap.xml 开头的 URL 除外。因此，例如，这些 URL 不应被抓取：

• http://example.com/sitemap.xml
• http://example.com/sitemap.xml.tar.gz
• http://example.com/sitemap.xml/
• http://example.com/sitemap.xml/foo

因此，如果您的站点地图位于 http://example.com/sitemap.xml，符合要求的机器人将不会抓取它。