如何允许 Googlebot 抓取我的 React 应用程序？
How to allow Googlebot to Crawl my React App?
我已经在 Azure 应用服务中部署了基于 React 的 Webb 应用
该网站正常运行，但根据 https://search.google.com/test/mobile-friendly，Google 无法访问它。
Google的猜测是我的机器人文字挡住了它，但我认为不是这样
下面是我的机器人文字
https://www.robotstxt.org/robotstxt.html
User-agent: *
Disallow:
有谁知道 Azure App Services 是否可以默认阻止 Googlebots？如果是这样，我该如何将它们列入白名单？
更新：经过一些调查，我认为 Cloudflare 实际上负责防止 Googlebot 爬行。任何人都知道如何解决这个问题？
在 robots.txt 文件中可识别多个用户代理的地方，Google 将遵循最具体的。
如果您希望所有 Google 都能够抓取您的网页，则根本不需要 robots.txt 文件。
如果您想阻止或允许所有 Google 的抓取工具访问您的某些内容，您可以通过将 Googlebot 指定为用户代理来实现。
User-agent: Googlebot
Disallow:
Incase Cloudflare 负责防止 Googlebot 爬行，您可以进行以下设置。
转到防火墙设置 > 托管规则，然后关闭 Cloudflare Specials
单独禁用规则 这样您就不会失去所有其他 Cloudflare 特价优惠。
供参考，请检查 Cloudflare Managed Special rules
我已经在 Azure 应用服务中部署了基于 React 的 Webb 应用 该网站正常运行，但根据 https://search.google.com/test/mobile-friendly，Google 无法访问它。
Google的猜测是我的机器人文字挡住了它，但我认为不是这样
下面是我的机器人文字
https://www.robotstxt.org/robotstxt.html
User-agent: *
Disallow:
有谁知道 Azure App Services 是否可以默认阻止 Googlebots？如果是这样，我该如何将它们列入白名单？
更新：经过一些调查，我认为 Cloudflare 实际上负责防止 Googlebot 爬行。任何人都知道如何解决这个问题？
在 robots.txt 文件中可识别多个用户代理的地方，Google 将遵循最具体的。
如果您希望所有 Google 都能够抓取您的网页，则根本不需要 robots.txt 文件。
如果您想阻止或允许所有 Google 的抓取工具访问您的某些内容，您可以通过将 Googlebot 指定为用户代理来实现。
User-agent: Googlebot
Disallow:
Incase Cloudflare 负责防止 Googlebot 爬行，您可以进行以下设置。 转到防火墙设置 > 托管规则，然后关闭 Cloudflare Specials
单独禁用规则 这样您就不会失去所有其他 Cloudflare 特价优惠。 供参考，请检查 Cloudflare Managed Special rules