从搜索引擎中隐藏流量管理器端点但公开自定义域
Hide Traffic Manager Endpoint from Search Engines but Expose the Custom Domain
我是 运行 一个 ASP.NET MVC 网站托管在 Azure 上并使用流量管理器作为负载均衡器，因此用户不仅可以像 这样的自定义域访问该网站foobar.yourcompany.com，还有 Azure 流量管理器提供的端点，如 foobar.trafficmanager.net。搜索引擎爬虫也是如此。
是否有任何可行的解决方案来对爬虫隐藏流量管理端点并公开自定义域端点？
P.S。我知道robots.txt.
如果您将您的应用程序设置为 return 在通过流量管理器域访问时将 HTTP 301 永久重定向到您的自定义域，它应该会阻止它显示在搜索结果中。据我所知，您无法完全禁用 TM 域。同样，您无法完全禁用应用服务域。
例如如果您的应用收到以下请求：
http://foobar.trafficmanager.net/foo/bar
使用 HTTP 301 将其重定向到：
http://foobar.yourcompany.com/foo/bar
我是 运行 一个 ASP.NET MVC 网站托管在 Azure 上并使用流量管理器作为负载均衡器，因此用户不仅可以像 这样的自定义域访问该网站foobar.yourcompany.com，还有 Azure 流量管理器提供的端点，如 foobar.trafficmanager.net。搜索引擎爬虫也是如此。
是否有任何可行的解决方案来对爬虫隐藏流量管理端点并公开自定义域端点？
P.S。我知道robots.txt.
如果您将您的应用程序设置为 return 在通过流量管理器域访问时将 HTTP 301 永久重定向到您的自定义域，它应该会阻止它显示在搜索结果中。据我所知，您无法完全禁用 TM 域。同样，您无法完全禁用应用服务域。
例如如果您的应用收到以下请求：
http://foobar.trafficmanager.net/foo/bar
使用 HTTP 301 将其重定向到：
http://foobar.yourcompany.com/foo/bar