robots.txt 文件或控制它的配置是否有替代位置？
Are there alternate locations for the robots.txt file or configurations that control it?
我们有一个网站，其中有许多配置为子网站的应用程序。目前 none 的网站已被 google 正确编入索引。我假设这是由于 robots.txt 文件包含：
User-Agent: *
Disallow: /
我可以通过将文件名添加到根站点的 URL 来查看 robots.txt 文件（示例。com/robots.txt）但是在搜索实际的 Web 服务器目录时没有 robots.txt 文件。我试图在根目录中放置一个新的 robots.txt 文件，但没有效果。当我尝试搜索此问题时出现的唯一问题是我们尚未安装的 IIS 搜索引擎优化功能。是否有某种自动生成文件的服务器设置或策略？我们可以访问网络服务器，但它是由另一个部门设置和控制的。
VM server
Windows Server 2012 R2 Standard
IIS 8.5
事实证明，我们的网站是通过 Azure AD 应用程序代理定向的。根据此文档，网络爬虫机器人通过上述默认 robots.txt 回复被阻止：https://docs.microsoft.com/en-us/azure/active-directory/manage-apps/application-proxy-security.
我们有一个网站，其中有许多配置为子网站的应用程序。目前 none 的网站已被 google 正确编入索引。我假设这是由于 robots.txt 文件包含：
User-Agent: *
Disallow: /
我可以通过将文件名添加到根站点的 URL 来查看 robots.txt 文件（示例。com/robots.txt）但是在搜索实际的 Web 服务器目录时没有 robots.txt 文件。我试图在根目录中放置一个新的 robots.txt 文件，但没有效果。当我尝试搜索此问题时出现的唯一问题是我们尚未安装的 IIS 搜索引擎优化功能。是否有某种自动生成文件的服务器设置或策略？我们可以访问网络服务器，但它是由另一个部门设置和控制的。
VM server
Windows Server 2012 R2 Standard
IIS 8.5
事实证明，我们的网站是通过 Azure AD 应用程序代理定向的。根据此文档，网络爬虫机器人通过上述默认 robots.txt 回复被阻止：https://docs.microsoft.com/en-us/azure/active-directory/manage-apps/application-proxy-security.