Dataprep - 将数据附加到 BigQuery table

Question

我正在使用 GCP 的 dataprep 连接多个具有相同列结构的 csv 文件，处理一些数据，然后写入 BigQuery 数据库。

我必须在 BigQuery 中记录这些数据。我可以从数据准备中包含这些数据并将它们附加到 BigQuery table 吗？

Answer 1

是的，可以截断数据或将数据附加到 BigQuery table。在 BigQuery table 选择的输出步骤 DataPrep 步骤中，您可以设置将附加到 table.

Answer 2

是的，您可以包含来自 DataPrep 的数据并将它们追加到 BigQuery table。

在 运行 作业之前，在“运行 DataFlow 上的作业”部分：

1. 点击操作，因为您使用 BigQuery 进行输出，应该类似于“Create-BigQuery”
2. 在接下来windows选择你输出table
3. 在左侧面板中 select“每隔 运行 附加到此 table”
4. 点击更新

现在，当您 运行 作业时，这将附加您的数据。

以下documentation可能有用。

Answer 3

我的困难在于“连接您的数据”这一步。我有很多前缀为 events_ 的 table，我都想要。我的直觉是参数化 events_*，但我在 bigquery table 摄取中没有这个选项。