在 EMR 上获取和设置 spark.driver/executor.extraClassPath
getting & setting spark.driver/executor.extraClassPath on EMR
据我所知，在 spark-defaults.conf 或其他地方的 AWS EMR 上设置/使用 spark.driver.extraClassPath 和 spark.executor.extraClassPath 作为标志时，我必须首先获得[...].extraClassPath 设置为现有值，然后将 :/my/additional/classpath 附加到它以使其工作。
Spark 中是否有一个函数可以让我在 附加 class 路径中附加 retains/respects 现有路径/etc/spark/conf/spark-defaults.conf?
中的电子病历
Spark 中没有这样的 "function" 但是：
在 EMR AMI 上，您可以编写一个 bootstrap，它将 append/set 任何您想要的 spark-defaults，当然会影响所有 Spark 作业。
当 EMR 迁移到较新的 "release-label" 时，它停止工作，因为 bootstrap-steps 在安装应用程序之前被配置 JSON 和手册 bootstraps 运行 取代（至少我试过的时候）
据我所知，在 spark-defaults.conf 或其他地方的 AWS EMR 上设置/使用 spark.driver.extraClassPath 和 spark.executor.extraClassPath 作为标志时，我必须首先获得[...].extraClassPath 设置为现有值，然后将 :/my/additional/classpath 附加到它以使其工作。
Spark 中是否有一个函数可以让我在 附加 class 路径中附加 retains/respects 现有路径/etc/spark/conf/spark-defaults.conf?
Spark 中没有这样的 "function" 但是： 在 EMR AMI 上，您可以编写一个 bootstrap，它将 append/set 任何您想要的 spark-defaults，当然会影响所有 Spark 作业。
当 EMR 迁移到较新的 "release-label" 时，它停止工作，因为 bootstrap-steps 在安装应用程序之前被配置 JSON 和手册 bootstraps 运行 取代（至少我试过的时候）