如何在数据融合的批处理管道中将参数传递给宏
How can I pass parameter to Macro in batch Pipeline of Data Fusion
我看过有关宏和动态管道的内容[使用宏在 Cloud Data Fusion 中构建动态管道] (https://www.qwiklabs.com/focuses/12371?parent=catalog),但这解决了开发或测试环境中的某些场景。
然而,如何在生产环境中传递宏标签中的值?我的意思是,如果我在 BigQuery 接收器上有一个宏 ${bq.dataset}
并且我需要在运行时设置一个值,同时考虑到此数据融合管道是由 google composer 或任何其他计划机制触发的。
在其他情况下,也许我需要为数据库源中的查询导入设置一个日期值:
Import query within macro value for dynamic ingestion to cloud storage or bigquery
在这种情况下,我的宏值可以是:
{"bq.dataset": "myTable"}
我需要在运行时实现带参数的生产管道(无需人工干预)。
我希望你能帮助我找到最好的方法。
我觉得可以通过使用偏好来解决。如果这能解决您的用例,请告诉我们
我看过有关宏和动态管道的内容[使用宏在 Cloud Data Fusion 中构建动态管道] (https://www.qwiklabs.com/focuses/12371?parent=catalog),但这解决了开发或测试环境中的某些场景。
然而,如何在生产环境中传递宏标签中的值?我的意思是,如果我在 BigQuery 接收器上有一个宏 ${bq.dataset}
并且我需要在运行时设置一个值,同时考虑到此数据融合管道是由 google composer 或任何其他计划机制触发的。
在其他情况下,也许我需要为数据库源中的查询导入设置一个日期值:
Import query within macro value for dynamic ingestion to cloud storage or bigquery
在这种情况下,我的宏值可以是:
{"bq.dataset": "myTable"}
我需要在运行时实现带参数的生产管道(无需人工干预)。
我希望你能帮助我找到最好的方法。
我觉得可以通过使用偏好来解决。如果这能解决您的用例,请告诉我们