无法从私有 Google 云作曲家访问 AWS s3 存储桶

Unable to access AWS s3 bucket from Private Google cloud composer

我正在使用 GCP cloud composer ( Airflow ) 将 s3 文件与 GCS 存储桶同步。当我设置 public 作曲家(public 集群)时,我能够 运行 命令“gsutil ls s3://bucket_name”,这列出了其中的文件,但是当我设置私有集群时,我得到了同样的连接超时。 我可以列出 google 个存储桶内容,但无法连接到 s3 存储桶……有人可以帮忙吗

如果 GCP composer 创建了私有 GKE 集群,则该集群在设计上与外部互联网隔离。

您应该无法从集群内部访问 Google 云外部的资源,例如 S3。有启用外部连接的选项,例如 NAT 网关。

私有集群无法连接到集群外部的资源,您需要做的是创建一个 NAT 网关并将其绑定到您的集群,这样您就可以访问其他云中的资源,例如 S3在 AWS 中,或允许您的集群在其他 public 面向服务的白名单中。