多个机器人元标记

Question

我最近继承了一个代码库并发现了这个 gem:

{% if PAGE_EXTRAS.hide_from_sitemap %}
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}

我不知道它要做什么。您是否有理由在这样的站点中放置多个明显冲突的机器人标签？或者它是否像我不知情的人所看到的那样疯狂？

Answer 1

我觉得这是个错误。我能找到的唯一信息是 Google's Robots meta tag specification:

If competing directives are encountered by our crawlers we will use the most restrictive directive we find.

所以，（至少 Google）代码：

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

与以下内容完全相同：

<meta name="robots" content="noindex, nofollow">

可以想象这段代码可能是某种偷偷摸摸的 hack，旨在通过利用它们解决冲突的方式的差异将不同的规则应用于不同的爬虫。如果是这样，恕我直言，这是一个糟糕的主意。当已经有一个合法的机制来做同样的事情时，就不需要一个凌乱的脆弱的黑客：

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">

多个机器人元标记

Multiple robots meta tags

meta

robots.txt