阻止 Googlebot 将页面编入索引，同时仍允许访问
Prevent Googlebot from indexing a page while still allowing access
在 angularjs 应用程序中，我使用了一些像 /fragments/welcome-1.html 这样的片段，它显示为 /welcome 的一部分。我想，我可以通过
从 Google 搜索中排除它
Disallow: /fragments
在 robots.txt 中，但它完全阻止了 Googlebot 的任何访问，因此页面 /welcome 无法正确显示。
显然，我不能这样做，但是我怎样才能确保 Google 可以获取片段并且它不会索引它？请注意，它不是真正的 HTML，只是 body 的一部分，所以我不能真正使用 meta 标签。
我认为这不是 angularjs 问题，或者是否可以通过 angular 解决。我对机器人有类似的问题。我有一个托管多个网站的文件夹。我在 Google 分析控制台中解决了它，在您验证并监控您的域后，菜单上有一个名为 Google 索引的选项，其中有一个选项可以删除 URL。只需将所有您不想 Google 编入索引的 URL。
我刚找到 X-Robots-Tag 并且我使用
提供来自 /fragments 的所有页面
X-Robots-Tag: googlebot: noindex
让我们看看它是否真的有效。
在 angularjs 应用程序中，我使用了一些像 /fragments/welcome-1.html 这样的片段，它显示为 /welcome 的一部分。我想，我可以通过
Disallow: /fragments
在 robots.txt 中，但它完全阻止了 Googlebot 的任何访问，因此页面 /welcome 无法正确显示。
显然，我不能这样做，但是我怎样才能确保 Google 可以获取片段并且它不会索引它？请注意，它不是真正的 HTML，只是 body 的一部分，所以我不能真正使用 meta 标签。
我认为这不是 angularjs 问题，或者是否可以通过 angular 解决。我对机器人有类似的问题。我有一个托管多个网站的文件夹。我在 Google 分析控制台中解决了它，在您验证并监控您的域后，菜单上有一个名为 Google 索引的选项，其中有一个选项可以删除 URL。只需将所有您不想 Google 编入索引的 URL。
我刚找到 X-Robots-Tag 并且我使用
提供来自/fragments 的所有页面
X-Robots-Tag: googlebot: noindex
让我们看看它是否真的有效。