Google 未索引由 CloudFront 分发的地理限制页面

Question

我有一个使用 CloudFront 在 AWS 上托管的网站，由于某些法律限制，该网站需要只能在英国和爱尔兰访问。

在 CloudFront 中设置地理限制并通过网站管理员工具将域提交到 Google 之后（上周初 - 1 月 2 日），我注意到该网站尚未被索引甚至被识别通过 Google（搜索域或 site:mysite.co.uk 不会产生任何结果）。

我的想法是，这是由于 Google 爬虫试图从美国服务器访问该页面，被重定向到一般错误页面，表明该网站是为英国和仅限爱尔兰，然后拒绝将其编入索引，因为它看起来像是一个质量很差的网站。

有没有人遇到过类似的问题并找到了解决方案？

我计划向 Google 网站站长工具提交站点地图以查看是否有帮助，但我也在考虑 robots.txt 文件是否有助于解决此问题。

如果您同意，请问我应该在其中添加哪些规则？我一直使用这个文件来简单地让爬虫知道网站的哪些部分要从索引中排除。

任何建议都会非常有帮助。

提前谢谢你，

亚当

Answer 1

迁移到 Web 应用程序框架 (WAF) 成功了。它使您可以更好地控制允许访问该站点的流量。我们只是放置了 Google/Facebook 的 IP 和可以在网上找到的 Twitter 爬虫。