如何将 --properties-file 传递给 Qubole 中的 spark-submit？
How to pass --properties-file to spark-submit in Qubole?
我通过在 AWS 中创建集群来在 Qubole 中使用 Spark。在 Qubole Workbench 中，当我执行以下命令行时，它工作正常并且命令成功
/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py
但是，当我执行相同的命令以及 --properties-file 选项时
/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py
它给出以下错误信息
Qubole > Shell Command failed with exit code: 1
App > Error occurred when getting effective config required to initialize Qubole security provider
App > Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Properties file s3:/bucket-name/SparkScripts/properties.file does not exist
有人可以帮我解决这个问题吗？我需要将一些应用程序属性存储在 Amazon S3 上的单独文件中，并传递给 --properties-file 到我的 spark 程序。
@saravanan - Qubole 目前无法从 S3 路径指定 --properties 文件。它将在版本 59 中可用。
我通过在 AWS 中创建集群来在 Qubole 中使用 Spark。在 Qubole Workbench 中，当我执行以下命令行时，它工作正常并且命令成功
/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py
但是，当我执行相同的命令以及 --properties-file 选项时
/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py
它给出以下错误信息
Qubole > Shell Command failed with exit code: 1
App > Error occurred when getting effective config required to initialize Qubole security provider
App > Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Properties file s3:/bucket-name/SparkScripts/properties.file does not exist
有人可以帮我解决这个问题吗？我需要将一些应用程序属性存储在 Amazon S3 上的单独文件中，并传递给 --properties-file 到我的 spark 程序。
@saravanan - Qubole 目前无法从 S3 路径指定 --properties 文件。它将在版本 59 中可用。