当我有多个数据文件 (.txt) 需要转换时，如何使用 DataFusion 执行 ETL 操作？在 Datafusion 中使用函数 UI
How can I use a DataFusion to perform ETL operations when I have multiple data files (.txt) to convert? Using functions within the Datafusion UI
任务概述如下。
Google 云存储 (GCS) 中的多个数据文件存储在分区 (/directory01/directory02/.../.text)
中
我将使用 DataFusion 来执行 ETL 工作并将其加载到 bigQuery table。
ETL操作仅在选择了一个数据文件时执行。
但是我想一次处理Google云存储中的所有数据文件，但是数据文件太多需要手动处理。
有什么好的方法请告诉我
谢谢。
正如@narendra 评论的那样，您可以将目录指定为 GCS 插件中的路径 properties/settings 并确保路径以“/”结尾。
打开插件时，您可以在“属性”选项卡右侧的“文档”选项卡中找到文档 properties/settings。
任务概述如下。 Google 云存储 (GCS) 中的多个数据文件存储在分区 (/directory01/directory02/.../.text)
中我将使用 DataFusion 来执行 ETL 工作并将其加载到 bigQuery table。
ETL操作仅在选择了一个数据文件时执行。
但是我想一次处理Google云存储中的所有数据文件，但是数据文件太多需要手动处理。
有什么好的方法请告诉我
谢谢。
正如@narendra 评论的那样，您可以将目录指定为 GCS 插件中的路径 properties/settings 并确保路径以“/”结尾。
打开插件时，您可以在“属性”选项卡右侧的“文档”选项卡中找到文档 properties/settings。