在 Cloud Data Fusion 中加载多个表失败并出现 DAG 错误
Loading many tables in Cloud Data Fusion fails with DAG error
我有一个 MS SQL 服务器数据源，其中包含大约 1000 个表，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的暂存表中，然后再对它们执行转换。但是，一旦我创建了一个包含两个 "islands" 的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道如下所示：
我在尝试部署时遇到的错误是："Invalid DAG. There is an island made up of stages BigTest,BigQuery BigTest (no other stages connect to them)."
每个管道都是一个 DAG（有向无环图），所有源和汇都应连接以使配置有效。您可以使用 multi-table 源插件，它可以一次引入多个 table 到 BQ 中的着陆点 table。
您可以为 use-case 使用 Multi table 插件和 BQ Multi table 接收器。
我有一个 MS SQL 服务器数据源，其中包含大约 1000 个表，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的暂存表中，然后再对它们执行转换。但是，一旦我创建了一个包含两个 "islands" 的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道如下所示：
我在尝试部署时遇到的错误是："Invalid DAG. There is an island made up of stages BigTest,BigQuery BigTest (no other stages connect to them)."
每个管道都是一个 DAG（有向无环图），所有源和汇都应连接以使配置有效。您可以使用 multi-table 源插件，它可以一次引入多个 table 到 BQ 中的着陆点 table。
您可以为 use-case 使用 Multi table 插件和 BQ Multi table 接收器。