X-Robots-Tag HTTP header 与 robots.txt 的优先级
Precedence of X-Robots-Tag HTTP header vs robots.txt
例如，如果在 Apache 设置中设置：
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow"
</IfModule>
这是在 robots.txt 文件中设置的：
User-agent: *
Allow: /
哪一个优先？
这些是不同的说明，因此您的查询无效。这里 robots.txt 文件允许抓取，x-robots-tag 控制索引。
尽管如果您展示了具有相同指令但格式不同的内容，那么（至少对于 googlebot）会注意到最严格的限制。
例如，如果在 Apache 设置中设置：
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow"
</IfModule>
这是在 robots.txt 文件中设置的：
User-agent: *
Allow: /
哪一个优先？
这些是不同的说明，因此您的查询无效。这里 robots.txt 文件允许抓取，x-robots-tag 控制索引。
尽管如果您展示了具有相同指令但格式不同的内容，那么（至少对于 googlebot）会注意到最严格的限制。