如何将日常数据从 AWS s3 传输到 GCP GCS?

How make daily data transfer from AWS s3 to GCP GCS?

我有一个客户希望每天将他们的数据从他们的 S3 传输到 GCP 存储桶到 Google 云存储存储桶。有什么方法可以创建从 s3 到 GCS 的计划传输或定期传输。

您可以使用名为 Storage Transfer 的服务:https://console.cloud.google.com/transfer

您可以创建管道并根据要求安排它,然后运行将所有数据从 AWS S3 克隆到 GCP。

此处主要服务URL:https://cloud.google.com/storage-transfer-service

您可以使用storage transfer service传输桶数据

  • AWS S3 到 GCP,反之亦然
  • Azure 到 GCP,反之亦然
  • GCP 到 GCP,反之亦然

它也支持 TSV 文件。

您可以将此服务配置为每天特定时间运行。