GCP 数据融合多次 table 导入

Question

我正在尝试使用多数据库 Table 和 BigQuery Multi Table 数据融合插件在一个管道中导入多个 table

但是当我尝试执行时出现以下错误

java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: BigQuery Multi Table has no outputs. Please check that the sink calls addOutput at some point.

我正在使用 Data Fusion 版本 6.1.4 多数据库 Tables 版本 1.2.0 和 BigQuery Multi Table 版本 0.14.8。

对可能出现的问题有什么建议吗？

编辑：

下面配置多个table数据库源

{
            "name": "Multiple Database Tables",
            "plugin": {
                "name": "MultiTableDatabase",
                "type": "batchsource",
                "label": "Multiple Database Tables",
                "artifact": {
                    "name": "multi-table-plugins",
                    "version": "1.2.0",
                    "scope": "USER"
                },
                "properties": {
                    "splitsPerTable": "1",
                    "referenceName": "multiTable",
                    "connectionString": "${secure(connection)}",
                    "jdbcPluginName": "netezza",
                    "user": "${secure(username)}",
                    "password": "${secure(password)}",
                    "whiteList": "categoria_l,cliente_l,regione_l"
                }
            },
            "outputSchema": [
                {
                    "name": "etlSchemaBody",
                    "schema": ""
                }
            ]
        },

进一步测试后，问题是源响应为空，因为数据融合不是从源数据库读取视图，而只是 tables

Answer 1

似乎 Multiple Database Tables source 没有产生任何记录（“Out 0”）。我会先去那里看看。您可以使用预览模式进行快速检查。插件文档 here.

GCP 数据融合多次 table 导入

GCP Data Fusion multiple table import

google-cloud-platform

cdap

google-cloud-data-fusion