机器人是否使用 OR 或 AND 方式引用 robots.txt 中的用户代理

Do robots refer to User Agent in robots.txt using OR or AND manner

假设我在我的 robots.txt like

中有用户代理列表
User-agent: Applebot
Disallow: something

User-agent: baiduspider
Disallow: something

User-agent: Bingbot
Disallow: something

User-agent: *
Disallow: something

机器人会以 OR 方式还是 AND 方式引用用户代理?如果 Bingbot 抓取该站点,Bingbot 规则和 * 规则是否一起适用?

根据Google,每User-agent行开始一组新的记录,并且只有一组组成员记录对特定的爬虫有效。正确的组是具有最具体用户代理的组。

因此,Bingbot 应该只读取 User-agent: Bingbot 之后的规则,而不是 User-agent: * 之后的规则。