任务开始时 Airflow 渲染模板发生变化 运行?
Airflow Rendered Template changes when task starts running?
我遇到了一个非常奇怪的气流错误。
问题
我有一个 dag,第 1 步有 bash operator
,第 2 步有 KubernetesPodOperator
。问题是关于 KubernetesPodOperator
。基本上,我给任务图像 X
已经有一段时间了,我最近将任务接收的图像更改为 Y
。
我遇到的问题是 TaskInstanceDetails
图像正确:Y
。但是,在渲染模板中,图像开始正确 X
,但是,一旦任务开始 运行,它就会将图像更改为 Y
。
我知道这很模糊,我不能提供更多,但我只是在寻找可能发生的事情的可能性,因为我没有想法。
我试过的
- 从数据库中删除序列化的 Dags
- 从数据库中删除呈现的任务详细信息
- Airflow 数据库重置
- Airflow db init(在整个过程之后)
- 正在删除 EC2 节点并尝试使用新节点
编辑
所以,我尝试运行 airflow tasks render dag_id task_id execution_date
,这里的结果是图像 X
!图像 Y
仅叠加在 dag 运行上。
在这里回答我自己的问题,以防有人 运行 遇到这个问题。非常简单的修复...我不小心在 kubernetes_pod_template 文件中为工作人员设置了不同的图像名称 运行。更改解决了问题。
我遇到了一个非常奇怪的气流错误。
问题
我有一个 dag,第 1 步有 bash operator
,第 2 步有 KubernetesPodOperator
。问题是关于 KubernetesPodOperator
。基本上,我给任务图像 X
已经有一段时间了,我最近将任务接收的图像更改为 Y
。
我遇到的问题是 TaskInstanceDetails
图像正确:Y
。但是,在渲染模板中,图像开始正确 X
,但是,一旦任务开始 运行,它就会将图像更改为 Y
。
我知道这很模糊,我不能提供更多,但我只是在寻找可能发生的事情的可能性,因为我没有想法。
我试过的
- 从数据库中删除序列化的 Dags
- 从数据库中删除呈现的任务详细信息
- Airflow 数据库重置
- Airflow db init(在整个过程之后)
- 正在删除 EC2 节点并尝试使用新节点
编辑
所以,我尝试运行 airflow tasks render dag_id task_id execution_date
,这里的结果是图像 X
!图像 Y
仅叠加在 dag 运行上。
在这里回答我自己的问题,以防有人 运行 遇到这个问题。非常简单的修复...我不小心在 kubernetes_pod_template 文件中为工作人员设置了不同的图像名称 运行。更改解决了问题。