禁止除一个用户代理之外的所有用户代理？
Disallow all for all user agents except one user agent?
如何禁止除一个用户代理之外的所有用户代理？
例如，禁止所有用户代理，但仅允许 Googlebot？
User-agent: *
Disallow: /
User-agent: google
Allow: /
此示例 robots.txt 告诉爬虫如果它们不与 google 一起使用。那么他们最好不要抓取您的网站。虽然 google 已获得绿色通行证，可以抓取网站上的任何内容。
此文件应存储在 www.example.com/robots.txt.
请继续阅读robots.txt
如何禁止除一个用户代理之外的所有用户代理？ 例如，禁止所有用户代理，但仅允许 Googlebot？
User-agent: *
Disallow: /
User-agent: google
Allow: /
此示例 robots.txt 告诉爬虫如果它们不与 google 一起使用。那么他们最好不要抓取您的网站。虽然 google 已获得绿色通行证，可以抓取网站上的任何内容。
此文件应存储在 www.example.com/robots.txt.
请继续阅读robots.txt