尝试在 Airflow 中获取 Spark 连接 ID 时出错
Error while try getting spark connection id in Airflow
我在气流 DAG 中的 SparkSubmitOperator 如下所示，下面是我在气流 UI 中的 connection_id 'spark_local' 为 when I try running my DAG am getting this error ，如果我在这里遗漏任何东西，任何人都可以帮助我？
SparkSubmitOperator (task_id='spark_task', application = 'gs://xxx/xxx.jar', conf = {"spark.driver.allowMultipleContexts":True, "spark.blacklist.enabled":False}, conn_id='spark_local', java_class = 'xxx', jars=["gs://xxx/*"], application_args=["xxx "xxx" "xxx,] )
基于 TypeError ，来自文档 https://airflow.apache.org/docs/apache-airflow/1.10.12/_api/airflow/contrib/operators/spark_submit_operator/index.html，它说 jars 参数应该是一个字符串。您能否尝试将 jars="gs://xxx/*" 作为字符串来查看它是否有效？
我在气流 DAG 中的 SparkSubmitOperator 如下所示，下面是我在气流 UI 中的 connection_id 'spark_local' 为
SparkSubmitOperator (task_id='spark_task', application = 'gs://xxx/xxx.jar', conf = {"spark.driver.allowMultipleContexts":True, "spark.blacklist.enabled":False}, conn_id='spark_local', java_class = 'xxx', jars=["gs://xxx/*"], application_args=["xxx "xxx" "xxx,] )
基于 TypeError ，来自文档 https://airflow.apache.org/docs/apache-airflow/1.10.12/_api/airflow/contrib/operators/spark_submit_operator/index.html，它说 jars 参数应该是一个字符串。您能否尝试将 jars="gs://xxx/*" 作为字符串来查看它是否有效？