在 robots.txt 文件中使用 noodp 元标记
Using noodp meta tag in a robots.txt file
是否可以将 'noodp' 等 SEO 标签添加到 robots.txt 文件而不是使用 <meta> 标签？我试图避免弄乱我们的 CMS 模板，尽管我怀疑我可能不得不...
我可以尝试类似的东西吗...
User-Agent: *
Disallow: /hidden
Sitemap: www.example.com
noodp:
我认为 robots.txt 优先于元标记？例如，对于 noindex，爬虫甚至不会看到有问题的页面。然而，对于像 noodp 这样的东西，情况仍然如此吗？
没有
Robots.txt 文件的目标是向机器人提供有关抓取的信息，而不是关于他们应该对抓取的内容执行的操作。
<meta> 机器人（或X-Robots-Tag指令）和robots.txt指令是两个截然不同的东西。
Google 在他的文章 Learn about robots.txt file:
中提供了很好的信息
robots.txt should only be used to control crawling traffic
如果您想添加一些漫游器指令而不扰乱您的 CMS，HTTP header X-Robots-Tag 可能是一个不错的解决方案。您可以尝试通过您的服务器配置添加它。
您无法使用 robots.txt 执行此操作，但您可以使用 the X-Robots-Tag response header 获得相同的效果。
将类似的内容添加到 .htaccess 文件的适当部分：
Header set X-Robots-Tag "noodp"
这告诉服务器在响应中包含以下行 headers:
X-Robots-Tag: noodp
搜索引擎（支持 X-Robots-Tag）将解释此 header 行的方式与它们在机器人元标记中解释 'noodp' 的方式完全相同。一般来说，您可以将任何内容放入 X-Robots-Tag header 中，您可以将其放入漫游器元标记中。注意页面不能被robots.txt屏蔽，否则爬虫将永远不会请求该页面，因此永远不会看到header.
是否可以将 'noodp' 等 SEO 标签添加到 robots.txt 文件而不是使用 <meta> 标签？我试图避免弄乱我们的 CMS 模板，尽管我怀疑我可能不得不...
我可以尝试类似的东西吗...
User-Agent: *
Disallow: /hidden
Sitemap: www.example.com
noodp:
我认为 robots.txt 优先于元标记？例如，对于 noindex，爬虫甚至不会看到有问题的页面。然而，对于像 noodp 这样的东西，情况仍然如此吗？
没有
Robots.txt 文件的目标是向机器人提供有关抓取的信息，而不是关于他们应该对抓取的内容执行的操作。
<meta> 机器人（或X-Robots-Tag指令）和robots.txt指令是两个截然不同的东西。
Google 在他的文章 Learn about robots.txt file:
中提供了很好的信息robots.txt should only be used to control crawling traffic
如果您想添加一些漫游器指令而不扰乱您的 CMS，HTTP header X-Robots-Tag 可能是一个不错的解决方案。您可以尝试通过您的服务器配置添加它。
您无法使用 robots.txt 执行此操作，但您可以使用 the X-Robots-Tag response header 获得相同的效果。
将类似的内容添加到 .htaccess 文件的适当部分：
Header set X-Robots-Tag "noodp"
这告诉服务器在响应中包含以下行 headers:
X-Robots-Tag: noodp
搜索引擎（支持 X-Robots-Tag）将解释此 header 行的方式与它们在机器人元标记中解释 'noodp' 的方式完全相同。一般来说，您可以将任何内容放入 X-Robots-Tag header 中，您可以将其放入漫游器元标记中。注意页面不能被robots.txt屏蔽，否则爬虫将永远不会请求该页面，因此永远不会看到header.