为什么 dataproc 无法识别参数：spark.submit.deployMode=cluster？
why dataproc not recognizing argument : spark.submit.deployMode=cluster?
我正在以这种方式向 dataproc 提交 spark 作业：
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1, spark.submit.deployMode=集群 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"
但是我收到了这个错误：
ERROR: (gcloud.dataproc.jobs.submit.spark) unrecognized arguments:
spark.submit.deployMode=cluster
知道为什么吗？预先感谢您的帮助。
这样可以正常工作（没有集群模式）：
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"
您似乎在第一个 属性 和第二个 属性 之间有一个 space。要么删除它，要么用引号将它们都括起来。
另一种选择是将其替换为
--packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1 --properties spark.submit.deployMode=cluster
我正在以这种方式向 dataproc 提交 spark 作业：
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1, spark.submit.deployMode=集群 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"
但是我收到了这个错误：
ERROR: (gcloud.dataproc.jobs.submit.spark) unrecognized arguments: spark.submit.deployMode=cluster
知道为什么吗？预先感谢您的帮助。
这样可以正常工作（没有集群模式）：
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"
您似乎在第一个 属性 和第二个 属性 之间有一个 space。要么删除它，要么用引号将它们都括起来。
另一种选择是将其替换为
--packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1 --properties spark.submit.deployMode=cluster