机器人是否使用 OR 或 AND 方式引用 robots.txt 中的用户代理
Do robots refer to User Agent in robots.txt using OR or AND manner
假设我在我的 robots.txt like
中有用户代理列表
User-agent: Applebot
Disallow: something
User-agent: baiduspider
Disallow: something
User-agent: Bingbot
Disallow: something
User-agent: *
Disallow: something
机器人会以 OR 方式还是 AND 方式引用用户代理?如果 Bingbot 抓取该站点,Bingbot 规则和 * 规则是否一起适用?
根据Google,每User-agent
行开始一组新的记录,并且只有一组组成员记录对特定的爬虫有效。正确的组是具有最具体用户代理的组。
因此,Bingbot 应该只读取 User-agent: Bingbot
之后的规则,而不是 User-agent: *
之后的规则。
假设我在我的 robots.txt like
中有用户代理列表User-agent: Applebot
Disallow: something
User-agent: baiduspider
Disallow: something
User-agent: Bingbot
Disallow: something
User-agent: *
Disallow: something
机器人会以 OR 方式还是 AND 方式引用用户代理?如果 Bingbot 抓取该站点,Bingbot 规则和 * 规则是否一起适用?
根据Google,每User-agent
行开始一组新的记录,并且只有一组组成员记录对特定的爬虫有效。正确的组是具有最具体用户代理的组。
因此,Bingbot 应该只读取 User-agent: Bingbot
之后的规则,而不是 User-agent: *
之后的规则。