如何阻止除 google 和 Bing 之外的所有机器人？
How to block all bots except google and Bing?
如何阻止除 google 和 Bing 之外的所有机器人。
我正在使用 Cloudflare，但我很困惑，怎么办。
我希望除了这些之外的所有机器人都面临 Cloudflare JS 挑战
简单：在根目录下创建文件robots.txt
并添加您要允许或禁止的机器人
# robots.txt
User-agent: *
Disallow: /
User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/
User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/
如何阻止除 google 和 Bing 之外的所有机器人。 我正在使用 Cloudflare，但我很困惑，怎么办。
我希望除了这些之外的所有机器人都面临 Cloudflare JS 挑战
简单：在根目录下创建文件robots.txt
并添加您要允许或禁止的机器人
# robots.txt
User-agent: *
Disallow: /
User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/
User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/