不允许搜索引擎索引整个网站，同时允许保存元标题和描述
Disallow search engines indexing of entire web site, while allowing to save meta title and description
我们在我们的网站上使用以下 robots.txt：
User-agent: *
Disallow: /
我们希望保留该功能（不允许爬虫索引网站的任何部分），但我们希望搜索引擎保存元标题和描述，以便在有人输入时这些文本可以漂亮地显示域名进入搜索引擎。
据我所知，唯一的解决方法是创建一个单独的仅包含元标记的可索引页面。这是实现我们目标的唯一途径吗？会有side-effects吗？
通过此 robots.txt，您可以禁止机器人 抓取 主机上的文档。机器人仍然可以 索引 您文档的 URL（例如，如果他们在外部站点上找到链接），但不允许他们访问您的 head 元素中的元素，所以他们不能使用此内容在他们的 SERP 中提供标题或描述。
没有允许机器人访问 head 而不是 body 的标准方法。
一些搜索引擎可能会显示来自其他来源的元数据，例如来自 Open Directory Project (you could disallow this with the noodp value for the meta-robots element) or the Yahoo Directory（您可以使用 noydir 值来禁止这种情况）。
如果您创建的文档仅包含 head 中的元数据，并允许机器人在您的 robots.txt 中抓取它，机器人可能会抓取它并将其编入索引，但元数据将当然会显示此页面，不会显示您主机上的其他页面。
我们在我们的网站上使用以下 robots.txt：
User-agent: *
Disallow: /
我们希望保留该功能（不允许爬虫索引网站的任何部分），但我们希望搜索引擎保存元标题和描述，以便在有人输入时这些文本可以漂亮地显示域名进入搜索引擎。 据我所知，唯一的解决方法是创建一个单独的仅包含元标记的可索引页面。这是实现我们目标的唯一途径吗？会有side-effects吗？
通过此 robots.txt，您可以禁止机器人 抓取 主机上的文档。机器人仍然可以 索引 您文档的 URL（例如，如果他们在外部站点上找到链接），但不允许他们访问您的 head 元素中的元素，所以他们不能使用此内容在他们的 SERP 中提供标题或描述。
没有允许机器人访问 head 而不是 body 的标准方法。
一些搜索引擎可能会显示来自其他来源的元数据，例如来自 Open Directory Project (you could disallow this with the noodp value for the meta-robots element) or the Yahoo Directory（您可以使用 noydir 值来禁止这种情况）。
如果您创建的文档仅包含 head 中的元数据，并允许机器人在您的 robots.txt 中抓取它，机器人可能会抓取它并将其编入索引，但元数据将当然会显示此页面，不会显示您主机上的其他页面。