无法将 alluxio.security.login.username 添加到 spark-submit

Question

我有一个 spark 驱动程序，我正在尝试为其设置 alluxio 用户。

我读了这个 post：How to pass -D parameter or environment variable to Spark job? 虽然有用，none 中的方法似乎可以解决问题。

我的环境：

- Spark-2.2
- Alluxio-1.4
- packaged jar passed to spark-submit

spark-submit 作业正在运行作为 root（在主管下），而 alluxio 只识别这个用户。

这是我尝试添加“-Dalluxio.security.login.username=alluxio”的地方：

这些工作中的

None 为 alluxio 设置了用户，尽管我可以很容易地在另一个也写入 alluxio 的（非 spark）客户端应用程序中设置这个属性。

有人可以将此设置应用到 spark-submit 作业中吗？

Answer 1

如果 spark-submit 处于客户端模式，您应该使用 --driver-java-options 而不是 --conf spark.driver.extraJavaOptions=... 以便驱动程序 JVM 以所需的选项启动。因此你的命令看起来像：

./bin/spark-submit ... --driver-java-options "-Dalluxio.security.login.username=alluxio" ...

这应该使用所需的 Java 选项启动驱动程序。

如果 Spark 执行器也需要该选项，您可以设置为：

--conf "spark.executor.extraJavaOptions=-Dalluxio.security.login.username=alluxio"

can't add alluxio.security.login.username to spark-submit