KubernetesPodOperator 未按预期发送参数

Question

我有气流运行 KubernetesPodOperator 以便进行 Spark 提交调用：

spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
    dag=dag,
    task_id='myApp',
    name='myApp',
    namespace='data',
    image=spark_image,
    cmds=['/opt/spark/bin/spark-submit'],
    configmaps=["data"],
    arguments=[
        '--master k8s://https://10.96.0.1:443',
        '--deploy-mode cluster',
        '--name myApp',
        f'--conf spark.kubernetes.container.image={spark_image}',
        'local:///app/run.py'
    ],

但是，我收到以下错误：

Error: Unrecognized option: --master k8s://https://10.96.0.1:443

这很奇怪，因为当我 bin/bash 到运行 pod 并执行 spark-submit 命令时，它起作用了。

知道如何按预期传递参数吗？

Answer 1

来自 GitHub 问题单的解决方案：参数应该像这样发送：

 '--master=k8s://https://10.96.0.1:443',

KubernetesPodOperator 未按预期发送参数

KubernetesPodOperator Not Sending Arguments as expected

apache-spark

airflow

spark-submit