我在哪里可以找到 spark.hadoop.yarn.* 属性?

Where can I find spark.hadoop.yarn.* properties?

我正在尝试 运行 spark(1.6.0) 应用程序,该应用程序使用 com.databricks.spark.csv jar 从 eclipse 以 yarn 客户端模式加载 csv 文件。它在投掷 CSVRelatio$annonfunc$func not found 异常。这是通过设置

解决的
spark.hadoop.yarn.application.classpath

属性 SparkConf

我的问题是 spark.hadoop.yarn.application.classpath属性 不是 在任何 spark 官方文件中列出。那么我在哪里可以找到所有这些 特性?我知道这是愚蠢的问题,但有很多初学者 参考官方 文件(https://spark.apache.org/docs/1.6.0/configuration.html)和他们 根本不知道这些属性。

没有列出,因为没有 Spark 属性。仅使用 spark. 前缀,因此 Spark 识别出这些应该被解析,并放入 org.apache.hadoop.conf.Configuration.

在哪里可以找到文档?您应该查看 Hadoop 文档以了解相应的组件。例如对于 YARN:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

你也不应该认为 Spark 有自己的类路径相关属性,包括:

  • spark.jars
  • spark.packages
  • spark.driver.extraClassPath / spark.executor.extraClassPath
  • .....