将原始 Google 分析数据从 BigQuery 移动到 Amazon S3
Moving raw Google Analytics data from BigQuery to Amazon S3
我们已将客户网站 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都会将原始数据转储到 Bigtable 中。现在我的目标是将该数据移动到 Amazon S3。
我可以使用 GCP 传输作业将此原始数据从大表移动到 google 云，然后从那里移动到 S3。但是，GCP 会花费您将数据存储到云中。
现在，Google 还提供了不同语言的客户端库，这些客户端库可以调用 GCP API。现在，我可以使用 Java 客户端库查询 BigTable，但是我不确定他们是否会向您收取此类查询费用，以及这些客户端库是否有配额限制。
因此，如果有人曾一起研究过 GA 和 bigQuery，请指导我如何从 Bigtable 读取数据而不花费客户一分钱。
一个可能的解决方案是在 BigQuery 端有一个工作，每天生成一个压缩文件并将其存储在 GCS 中，然后有一个 EC2 实例，在 EC2 实例上安装 gsutil，并触发 gsutil 从 GCS 复制文件日常的。
我们每天都以这种方式移动压缩的 JSON 文件。
祝你好运！
我们已将客户网站 Google Analytics Acc 与 BigQuery 集成。所以 GA 每天都会将原始数据转储到 Bigtable 中。现在我的目标是将该数据移动到 Amazon S3。
我可以使用 GCP 传输作业将此原始数据从大表移动到 google 云，然后从那里移动到 S3。但是，GCP 会花费您将数据存储到云中。
现在，Google 还提供了不同语言的客户端库，这些客户端库可以调用 GCP API。现在，我可以使用 Java 客户端库查询 BigTable，但是我不确定他们是否会向您收取此类查询费用，以及这些客户端库是否有配额限制。
因此，如果有人曾一起研究过 GA 和 bigQuery，请指导我如何从 Bigtable 读取数据而不花费客户一分钱。
一个可能的解决方案是在 BigQuery 端有一个工作，每天生成一个压缩文件并将其存储在 GCS 中，然后有一个 EC2 实例，在 EC2 实例上安装 gsutil，并触发 gsutil 从 GCS 复制文件日常的。
我们每天都以这种方式移动压缩的 JSON 文件。
祝你好运！