将 BigQuery Data Transfer Service (DCM) 数据移动到另一个项目

Question

我在 GCP 项目 A 的数据集 A 中为 Campaign Manager 设置了 BigQuery 数据传输服务。我想将其移动到位于项目 B 中的数据集 B。如何移动现有数据并设置 BigQuery 传输有任何数据丢失和重复吗？

Answer 1

恐怕你必须：

1. 将相关表从数据集 A 复制到数据集 B
2. 再次为数据集 B 设置传输服务（假设如果表已经存在于目标数据集中就可以完成）
3. 自行删除重复数据。

一种解决方法，实现类似但不完全符合您的要求，是将数据集 A 中的相关表 create views 放入数据集 B。

通过这样做，这些视图将像数据集 B 中的适当表一样工作，您不必担心重复数据删除、数据丢失和重新设置数据传输。缺点是您必须保留数据集 A。

Answer 2

以下是我迁移传输服务的方式：

1. 在项目B中启用了传输服务。
2. 一旦数据开始到达数据集 B，历史 数据（从开始到 MIN（partition_date）-1）是从 数据集 A 到数据集 B 中的适当分区。
3. 项目A中的传输服务在验证后停止 分区计数和行计数。