我在哪里可以找到 spark.hadoop.yarn.* 属性?
Where can I find spark.hadoop.yarn.* properties?
我正在尝试 运行 spark(1.6.0) 应用程序,该应用程序使用 com.databricks.spark.csv
jar 从 eclipse 以 yarn 客户端模式加载 csv 文件。它在投掷
CSVRelatio$annonfunc$func not found
异常。这是通过设置
解决的
spark.hadoop.yarn.application.classpath
属性 SparkConf
。
我的问题是 spark.hadoop.yarn.application.classpath
属性 不是
在任何 spark 官方文件中列出。那么我在哪里可以找到所有这些
特性?我知道这是愚蠢的问题,但有很多初学者
参考官方
文件(https://spark.apache.org/docs/1.6.0/configuration.html)和他们
根本不知道这些属性。
没有列出,因为没有 Spark 属性。仅使用 spark.
前缀,因此 Spark 识别出这些应该被解析,并放入 org.apache.hadoop.conf.Configuration
.
在哪里可以找到文档?您应该查看 Hadoop 文档以了解相应的组件。例如对于 YARN:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
你也不应该认为 Spark 有自己的类路径相关属性,包括:
spark.jars
spark.packages
spark.driver.extraClassPath
/ spark.executor.extraClassPath
- .....
我正在尝试 运行 spark(1.6.0) 应用程序,该应用程序使用 com.databricks.spark.csv
jar 从 eclipse 以 yarn 客户端模式加载 csv 文件。它在投掷
CSVRelatio$annonfunc$func not found
异常。这是通过设置
spark.hadoop.yarn.application.classpath
属性 SparkConf
。
我的问题是 spark.hadoop.yarn.application.classpath
属性 不是
在任何 spark 官方文件中列出。那么我在哪里可以找到所有这些
特性?我知道这是愚蠢的问题,但有很多初学者
参考官方
文件(https://spark.apache.org/docs/1.6.0/configuration.html)和他们
根本不知道这些属性。
没有列出,因为没有 Spark 属性。仅使用 spark.
前缀,因此 Spark 识别出这些应该被解析,并放入 org.apache.hadoop.conf.Configuration
.
在哪里可以找到文档?您应该查看 Hadoop 文档以了解相应的组件。例如对于 YARN:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
你也不应该认为 Spark 有自己的类路径相关属性,包括:
spark.jars
spark.packages
spark.driver.extraClassPath
/spark.executor.extraClassPath
- .....