apache airflow 中 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator 的区别

Difference between BeamRunPythonPipelineOperator and DataFlowPythonOperator in apache airflow

我正在尝试 运行 Airflow 中执行数据流作业的作业。我意识到有 2 个操作符,即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator,这两个操作符都可以将作业提交到数据流,但我担心它们之间的区别。 它们之间有什么区别吗?请帮我。任何帮助将不胜感激?

总的来说:

  1. DataFlowPythonOperator class 已弃用,建议使用 DataflowCreatePythonJobOperator 代替。
  2. DataflowCreatePythonJobOperator class 已弃用,建议使用 BeamRunPythonPipelineOperator 代替。