Livy POST 批处理 API 与 spark.driver.extraJavaOptions

Question

如何通过 Livy POST/Batch API 调用添加 spark.driver.extraJavaOptions？我需要传递额外的 -D（JVM 系统属性）。

Answer 1

您可以参考 Livy REST Api 文档：https://livy.incubator.apache.org/docs/latest/rest-api.html

当您 POST 到 /bathes JSON 主体时，您可以传递包含所需 SparkConf 配置的 "conf": {"key": "value"} 映射。例如：

{
  "name": "SparkPi-01",
  "className": "org.apache.spark.examples.SparkPi",
  "numExecutors": 2,
  "file": "local:///opt/spark/examples/jars/spark-examples_2.11-2.4.3.jar",
  "args": ["10000"],
  "conf": {
    "spark.driver.extraJavaOptions": "-D... -XX...",
    "spark.executor.extraJavaOptions": "-D... -XX...",
  }
}

请注意，根据您的环境，您可能会覆盖 extraJavaOptions 配置的预配置默认值。

Livy POST 批处理 API 与 spark.driver.extraJavaOptions

Livy POST batche API with spark.driver.extraJavaOptions

apache-spark

livy