使用 Cloudera 5.14 和 Spark2 配置 Livy：Livy 找不到自己的 JAR 文件
Configuring Livy with Cloudera 5.14 and Spark2: Livy can't find its own JAR files
我是 Cloudera 的新手，正在尝试将工作负载从 HDP 服务器 运行 Ambari with Livy and Spark 2.2.x 转移到具有类似设置的 CDH 5 服务器。由于 Livy 不是 Cloudera 的组件，我使用的是他们网站上的 0.5.0 版孵化器，运行 它与 YARN、Spark 和 HDFS masters 在同一台服务器上。
长话短说，当我尝试提交给 Livy 时，我收到以下错误消息：
Diagnostics: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
at org.apache.hadoop.yarn.util.FSDownload.access[=10=]0(FSDownload.java:61)
at org.apache.hadoop.yarn.util.FSDownload.run(FSDownload.java:364)
at org.apache.hadoop.yarn.util.FSDownload.run(FSDownload.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:361)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Failing this attempt. Failing the application.
它引用的 jar 是 Livy 安装的一部分，而且显然存在。看起来在这个过程中的某个时刻，Hadoop 正在寻找一个带有 URL file:/home... 而不是 /home... 或 file:///home... 的文件，但我不确定这甚至是相关的，因为这可能是 HDFS 的有效路径。我已经从源代码构建了多个版本的 Livy，修改了启动脚本并对其进行了远程调试，但这个错误似乎发生在 Spark 的某个地方。
这是我的 livy.conf 文件：
# What spark master Livy sessions should use.
livy.spark.master = yarn
# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = cluster
livy.file.upload.max.size 300000000
和livy-env.sh：
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop
旧集群使用Hadoop 2.7.3.2.6.5.0-141和Spark 2.2.1。新集群是 运行 Hadoop 2.6.0-cdh5.14.2 和 Spark 2.2.0.cloudera2。使用旧集群的 Livy 发行版以及 Cloudera 自己的 Livy 发行版都给出了相同的基本错误。同样，所有这些东西在之前的 HDP/Ambari 集群上运行得很好。
所有这些 jar 文件都存在于每个节点上的该路径上，我也对 HDFS 中的 jar 进行了尝试——Livy 提取它们，然后为提取的 jar 提供相同的错误消息。我还尝试了一堆具有权限的东西，但 none 似乎有效。例如，我得到：
18/06/09 00:13:12 INFO util.LineBufferedStream: (stdout: ,18/06/09 00:13:11 INFO yarn.Client: Uploading resource hdfs://some-server:8020/user/livy/jars/livy-examples-0.4.0-SNAPSHOT.jar -> file:/home/livy/.spar
kStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar)
来自 Livy 的输出，然后是...
Diagnostics: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
...
来自 YARN 不可避免的失败。
有人有什么想法吗？如果有的话，即使只是听到李维的替代品也会很高兴......
我通过使用字符串 mvn clean package -DskipTests -Dspark-2.2.0.cloudera2 -Dscala-2.10 从 Cloudera repo 构建 Livy 来解决这个问题。此版本已过时，有损坏的 UI，一些 Scala 测试失败，因此必须跳过它们，而且我没有费心去研究指定 2.2.0.cloudera2 的工作方式或原因。我还必须在集群上安装 Hue 及其依赖服务。 Livy 的其他发行版、二进制文件或源代码均无效。
我是 Cloudera 的新手，正在尝试将工作负载从 HDP 服务器 运行 Ambari with Livy and Spark 2.2.x 转移到具有类似设置的 CDH 5 服务器。由于 Livy 不是 Cloudera 的组件，我使用的是他们网站上的 0.5.0 版孵化器，运行 它与 YARN、Spark 和 HDFS masters 在同一台服务器上。
长话短说，当我尝试提交给 Livy 时，我收到以下错误消息：
Diagnostics: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
at org.apache.hadoop.yarn.util.FSDownload.access[=10=]0(FSDownload.java:61)
at org.apache.hadoop.yarn.util.FSDownload.run(FSDownload.java:364)
at org.apache.hadoop.yarn.util.FSDownload.run(FSDownload.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:361)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Failing this attempt. Failing the application.
它引用的 jar 是 Livy 安装的一部分，而且显然存在。看起来在这个过程中的某个时刻，Hadoop 正在寻找一个带有 URL file:/home... 而不是 /home... 或 file:///home... 的文件，但我不确定这甚至是相关的，因为这可能是 HDFS 的有效路径。我已经从源代码构建了多个版本的 Livy，修改了启动脚本并对其进行了远程调试，但这个错误似乎发生在 Spark 的某个地方。
这是我的 livy.conf 文件：
# What spark master Livy sessions should use.
livy.spark.master = yarn
# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = cluster
livy.file.upload.max.size 300000000
和livy-env.sh：
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop
旧集群使用Hadoop 2.7.3.2.6.5.0-141和Spark 2.2.1。新集群是 运行 Hadoop 2.6.0-cdh5.14.2 和 Spark 2.2.0.cloudera2。使用旧集群的 Livy 发行版以及 Cloudera 自己的 Livy 发行版都给出了相同的基本错误。同样，所有这些东西在之前的 HDP/Ambari 集群上运行得很好。
所有这些 jar 文件都存在于每个节点上的该路径上，我也对 HDFS 中的 jar 进行了尝试——Livy 提取它们，然后为提取的 jar 提供相同的错误消息。我还尝试了一堆具有权限的东西，但 none 似乎有效。例如，我得到：
18/06/09 00:13:12 INFO util.LineBufferedStream: (stdout: ,18/06/09 00:13:11 INFO yarn.Client: Uploading resource hdfs://some-server:8020/user/livy/jars/livy-examples-0.4.0-SNAPSHOT.jar -> file:/home/livy/.spar
kStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar)
来自 Livy 的输出，然后是...
Diagnostics: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
...
来自 YARN 不可避免的失败。
有人有什么想法吗？如果有的话，即使只是听到李维的替代品也会很高兴......
我通过使用字符串 mvn clean package -DskipTests -Dspark-2.2.0.cloudera2 -Dscala-2.10 从 Cloudera repo 构建 Livy 来解决这个问题。此版本已过时，有损坏的 UI，一些 Scala 测试失败，因此必须跳过它们，而且我没有费心去研究指定 2.2.0.cloudera2 的工作方式或原因。我还必须在集群上安装 Hue 及其依赖服务。 Livy 的其他发行版、二进制文件或源代码均无效。