将 Host: 指令放在 robots.txt 中的什么位置顺序

Question

我的 robots.txt 中的 Host 指令应该在文件的顶部还是底部，或者顺序无关紧要。

这是我的 robots.txt 文件：

User-agent: *
Crawl-delay: 10
Disallow: /administrator/

指定的每个用户代理是否也需要主机指令？

Answer 1

来自 Yandex：https://yandex.com/support/webmaster/controlling-robot/robots-txt.html#host

[…] the Host directive is intersectional, so it will be used by the robot regardless of its location in robots.txt.

For every robots.txt file, only one Host directive is processed. If several directives are indicated in the file, the robot will use the first one.

For example:
Host: myhost.ru # uses

User-agent: *
Disallow: /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin
Host: www.myhost.ru # is not used

因此，无论 Host 指令在什么 User-Agent 下，或者 robots.txt 中有多少 Host 指令，它们的位置只有第一次出现是被使用的那个。

将 Host: 指令放在 robots.txt 中的什么位置顺序

What position order to put Host: directive in robots.txt

robots.txt