通过字典将参数动态传递给气流运算符

Question

例如使用 BashOperator：

bash_task = BashOperator(
     task_id="bash_task",
    bash_command="echo \"here is the message: '$message'\"",
    env={"message": '{{ dag_run.conf["message"] if dag_run else "" }}'},
)

我不想“硬编码”运算符的参数，即 'task_id'、'bash_command' 等

而是传递字典，例如：

arguments = {
    "task_id": "Bash_task",
    "bash_command": "echo \"here is the message: '$message'\"",
}

bash_task = BashOperator(
    arguments=arguments
)

就我而言，我正在使用更复杂的运算符，需要根据某些条件动态设置参数。我的理解是，您可以使用 'params' 参数来做到这一点，但它并没有像我想的那样起作用。我能够通过例如 yaml 文件动态传递参数值，但不能动态地传递参数值 select 要设置哪些参数，以及它们的值将通过例如字典传递。

有可能吗？最好的方法是什么？

Answer 1

这是标准 Python 功能（** 运算符）。

使用 **arguments 将字典扩展为关键字参数 Converting Python dict to kwargs?

通过字典将参数动态传递给气流运算符

Dynamically passing parameters to an airflow operator through a dictionary

python

templates

dynamic

operators

airflow