apache airflow 中 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator 的区别
Difference between BeamRunPythonPipelineOperator and DataFlowPythonOperator in apache airflow
我正在尝试 运行 Airflow 中执行数据流作业的作业。我意识到有 2 个操作符,即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator,这两个操作符都可以将作业提交到数据流,但我担心它们之间的区别。
它们之间有什么区别吗?请帮我。任何帮助将不胜感激?
总的来说:
DataFlowPythonOperator
class 已弃用,建议使用 DataflowCreatePythonJobOperator
代替。
DataflowCreatePythonJobOperator
class 已弃用,建议使用 BeamRunPythonPipelineOperator
代替。
我正在尝试 运行 Airflow 中执行数据流作业的作业。我意识到有 2 个操作符,即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator,这两个操作符都可以将作业提交到数据流,但我担心它们之间的区别。 它们之间有什么区别吗?请帮我。任何帮助将不胜感激?
总的来说:
DataFlowPythonOperator
class 已弃用,建议使用DataflowCreatePythonJobOperator
代替。DataflowCreatePythonJobOperator
class 已弃用,建议使用BeamRunPythonPipelineOperator
代替。