具有相同 spark.local.dir 的多个火花执行器

Question

我正在 运行通过设置以下属性在 Mesos Docker 容器化器上安装一个 Spark 应用程序。

--conf 'spark.local.dir=/var/lib/spark'
--conf 'spark.mesos.executor.docker.image=my_spark_docker_image'
--conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro'
--conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so'

• 所有 Spark 执行器都是 docker 容器（由 mesos docker 启动）。
• 一个或多个 Spark 执行器可以 运行 在同一主机上。
• spark.local.dir 属性 是 /var/lib/spark，由 docker.
从主机挂载

也就是说，主机上的所有 Spark 执行器共享同一个本地目录 (/var/data/x-spark)。

虽然看起来一切正常，但我担心文件损坏。安全吗？

Answer 1

很安全。每个作业都会创建自己的子目录。