Noindex 或在机器人 symfony 中不允许

Question

我正在使用 Symfony 1.4，我想在我的网站上停用 Google 的索引，我必须使用的最佳代码是什么？

• 机器人：无索引，nofollow
• 机器人：不允许

Answer 1

随便看看here

User-agent: *
Disallow: /

Answer 2

他们做different件事：

• 通过使用 robots.txt，您可以禁止 抓取 您的网站。

• 通过使用 meta-robots 元素，您可以禁止对您的网站进行 索引 。

如果你想要一个，你 can’t 有另一个。

所以你必须决定：

• Googlebot 不应访问您的网址，但它可能会为您的网址编制索引（从不同来源了解它们）：使用 robots.txt.
• Googlebot 永远不会为您的网址编制索引，但它可能会访问它们：使用 meta-robots.