我可以为 "sorry" 服务器放置 robots.txt 吗？
Can I put robots.txt for "sorry" server?
我正在考虑是否应该为我的 "sorry server" 添加以下内容 robots.txt returns 给我们的客户一些抱歉的消息，我们正在维护。
User-agent: *
Disallow: /
这是我的 concerns/questions:
它不会告诉爬虫不要永远索引我们的网站，尽管我们的服务器在维护完成后就绪了吗？
如果我为抱歉的服务器添加 robots.txt，我是否应该为我们的常规服务器添加另一个 robots.txt，告诉爬虫 "please index our site"？
[编辑] 说到极端，它不会从 Google 中删除我们的网站吗？
你不应该在这种情况下使用 robots.txt。
在您处于维护模式时获取 robots.txt 的机器人可能会缓存它并在您的网站重新上线时应用其规则（更改 robots.txt 该机器人不会'一段时间不见）。当您的网站处于在线状态时获取 robots.txt 的机器人也可能在您的网站处于维护模式时应用其规则。
相反，您应该为维护模式提供适当的 HTTP header：503 服务不可用。仅此信号就足以（至少对于具有一定能力的机器人而言）不会为页面编制索引。
此外，您可以提供具有 noindex 值的 meta-robots 元素，或相应的 HTTP header X-Robots-Tag (see example).
我正在考虑是否应该为我的 "sorry server" 添加以下内容 robots.txt returns 给我们的客户一些抱歉的消息，我们正在维护。
User-agent: *
Disallow: /
这是我的 concerns/questions:
它不会告诉爬虫不要永远索引我们的网站，尽管我们的服务器在维护完成后就绪了吗？
如果我为抱歉的服务器添加
robots.txt，我是否应该为我们的常规服务器添加另一个robots.txt，告诉爬虫 "please index our site"？[编辑] 说到极端，它不会从 Google 中删除我们的网站吗？
你不应该在这种情况下使用 robots.txt。
在您处于维护模式时获取 robots.txt 的机器人可能会缓存它并在您的网站重新上线时应用其规则（更改 robots.txt 该机器人不会'一段时间不见）。当您的网站处于在线状态时获取 robots.txt 的机器人也可能在您的网站处于维护模式时应用其规则。
相反，您应该为维护模式提供适当的 HTTP header：503 服务不可用。仅此信号就足以（至少对于具有一定能力的机器人而言）不会为页面编制索引。
此外，您可以提供具有 noindex 值的 meta-robots 元素，或相应的 HTTP header X-Robots-Tag (see example).