Robot.txt 无索引

Question

我有 2 个网站。第一个是 "test-www.xxxxxxx.net"，另一个是 "www.xxxxx.net"。我想制作一个动态的无索引元标记。 Google 机器人可以为我的实时站点编制索引，但我不希望它用于我的测试站点。通常我可以添加一个属性并在 _Layout.cshtml 中使其动态化，如下所示。

@if (!Helper.IsLiveSite())
    {
        <meta name="robots" content="noindex">
    }

有什么方法可以将其写入 robot.txt 文件？在一些文章中写到“我强烈建议您尽可能使用 Noindex。”

所以请帮忙！我怎样才能在 robot.txt 中做到这一点。我不知道下面的文件是否会产生错误。

User-agent: *
Disallow: /styles/
Sitemap: http://xxxxxx/sitemap/sitemap.xml
Noindex: test-www.xxxxxxx.net/*
Noindex: http://test-www.xxxxxxx.net/*
Noindex: https://test-www.xxxxxxx.net/*

谢谢。

Answer 1

您不能通过 robots.txt¹ 禁止索引，只能抓取（通过 Disallow）。

如果您想禁止从您的测试站点抓取所有文档，您必须上传可从 test-www.xxxxxxx.net/robots.txt 访问的 robots.txt:

User-agent: *
Disallow: /

（而且这个 robots.txt 文件应该 而不是 也可以从您的实时站点访问。）

搜索引擎（支持 robots.txt 的搜索引擎）将不再访问（抓取）此主机上的 URL。如果他们以某种方式找到该主机上文档的 URL（例如，如果另一个页面链接到它们），他们可能会列出 (index) 它们。

¹ Google 支持（也许仍然支持）这个，不过。

Robot.txt 无索引

Robot.txt noindex

robots.txt

noindex