DataFlowJavaOperator - 执行特定的 java class 文件

Question

我是 GCP Composer 的新手。正在尝试通过 Airflow 安排我的工作。

我有一个包含 batchjob1.java、batchjob2.java 的 JAR，我正在使用 DataFlowJavaOperator 进行调度。

参考以下代码。

DataFlowJavaOperator(
        task_id='batchjob1',
        jar='gs://bucket/path/jobs-1.0-SNAPSHOT.jar',
        options={
        }
    ) 

在这里，我怎样才能具体调用batchjob1.java和batchjob2.java。有什么方法可以在 DataFlowJavaOperator

中指定 Mainclass

Answer 1

参考文档后，找到了一个适合我的选项。

只需在 job_class

中指定您的 class 姓名

dataflow_task = DataFlowJavaOperator(
    task_id='example1',
        jar='gs://bukcet/path/job.jar',
        job_class='package.jobClassName',
        options={
            
        },
    dag=dag)