如何通过 CD 管道文件提供运行时 parameter/argument 值

Question

如何将运行时间 parameter/arguments 添加到 CDAP 管道。

我们可以在所有 Transforms、Source 和 Target 节点中设置参数，并在 Datafusion 环境中手动输入运行时间的值。

但是在生产环境中我想要一个参数文件来将值提供给管道，我该如何实现这个功能。

在 CDAP 文档中，我没有发现任何关于运行时间参数的有用信息。我是数据融合的新手，对界面不是很熟悉。如果这个问题已经得到回答，重定向到该线程也会有帮助

Answer 1

启动管道时，您可以在请求正文中将运行时参数指定为 JSON 映射。

首先，您的管道应包含属性查找宏，这些宏已记录在案 here。例如，管道 json 定义可以包含 BigQuery Sink 插件的以下配置（为简洁起见删除了周围的字段）：

  {
    "name": "BigQuerySink",
    "plugin": {
      "properties": {
        "table": "${bqsink_table}"
      }
    },

然后，在启动管道时，您可以指定宏的值，如前所述here。

在此示例中，您将向 v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start 发送一个 POST 请求，请求正文为：

{ "bqsink_table": "myTable" }

How can I provide runtime parameter/argument values via a file for CDAP pipleline