如何阻止除 google 和 Bing 之外的所有机器人?
How to block all bots except google and Bing?
如何阻止除 google 和 Bing 之外的所有机器人。
我正在使用 Cloudflare,但我很困惑,怎么办。
我希望除了这些之外的所有机器人都面临 Cloudflare JS 挑战
简单:在根目录下创建文件robots.txt
并添加您要允许或禁止的机器人
# robots.txt
User-agent: *
Disallow: /
User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/
User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/
如何阻止除 google 和 Bing 之外的所有机器人。 我正在使用 Cloudflare,但我很困惑,怎么办。
我希望除了这些之外的所有机器人都面临 Cloudflare JS 挑战
简单:在根目录下创建文件robots.txt
并添加您要允许或禁止的机器人
# robots.txt
User-agent: *
Disallow: /
User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/
User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/