如何使用 robots.txt 阻止用于 URL 缩短服务的子域？
How to block subdomain used for URL shortening service with robots.txt?
假设我的域名是 example.com。在 www.example.com，我设置了我的主要网站（使用 Blogger 设置）并使用 go.example.com 进行 URL 缩短（使用 GoDaddy 缩短服务设置）。现在，我想阻止所有 go.example.com URL，这样它们就无法被索引。
如果我在主博客中将 rel="noindex,nofollow" 用于 go.example.com URL，那么这会影响我的博客搜索引擎优化吗？
在 go.example.com 上使用此 robots.txt，您不允许符合要求的机器人 抓取 来自该主机的任何 URL：
# https://go.example.com/
User-agent: *
Disallow: /
如果您对抓取没问题，但又想阻止索引 (you can’t have both)，则必须使用noindex（在 meta-robots 元素中或在 HTTP header X-Robots-Tag 中）。请注意，您不能在 rel 属性中使用 noindex 作为 link 类型。
也就是说，如果您总是从 go.example.com 重定向（例如，使用 301）到规范的 URL（在另一台主机上），搜索引擎机器人没有理由将您的文档编入索引 go.example.com，因为您不提供任何内容，只提供重定向。
假设我的域名是 example.com。在 www.example.com，我设置了我的主要网站（使用 Blogger 设置）并使用 go.example.com 进行 URL 缩短（使用 GoDaddy 缩短服务设置）。现在，我想阻止所有 go.example.com URL，这样它们就无法被索引。
如果我在主博客中将 rel="noindex,nofollow" 用于 go.example.com URL，那么这会影响我的博客搜索引擎优化吗？
在 go.example.com 上使用此 robots.txt，您不允许符合要求的机器人 抓取 来自该主机的任何 URL：
# https://go.example.com/
User-agent: *
Disallow: /
如果您对抓取没问题，但又想阻止索引 (you can’t have both)，则必须使用noindex（在 meta-robots 元素中或在 HTTP header X-Robots-Tag 中）。请注意，您不能在 rel 属性中使用 noindex 作为 link 类型。
也就是说，如果您总是从 go.example.com 重定向（例如，使用 301）到规范的 URL（在另一台主机上），搜索引擎机器人没有理由将您的文档编入索引 go.example.com，因为您不提供任何内容，只提供重定向。