Apache/Cloudera HUE / Livy Spark Server - InterpreterError: Fail to start interpreter
Apache/Cloudera HUE / Livy Spark Server - InterpreterError: Fail to start interpreter
此时我不知所措。我正在尝试 运行 PySpark/SparkR 在 Apache HUE 4.3 上，使用 Spark 2.4 + Livy Server 0.5.0。我遵循了我能找到的所有指南，但我一直 运行 关注这个问题。基本上，我可以通过命令行 运行 PySpark/SparkR，但是出于某种原因，HUE 会执行以下操作：
- 忽略我在多个地方设置的所有 Spark 配置（执行程序内存、内核等）（
spark-defaults.conf、livy.conf 和 livy-client.conf）
- 成功为 PySpark 和 SparkR 创建会话，但是当您尝试做任何事情时（即使只是
print(1+1)），我得到 InterpreterError: Fail to start interpreter
- 实际上在 HUE 上使用 Scala。 Scala 可以工作，但 PySpark 和 SparkR 不能在 HUE 上使用（大概是因为 Scala 是基于 java 的）。
任何需要的配置我都可以提供。这快把我逼疯了。
我也无法通过 REST API 与 PySpark 交互，同样的 InterpreterError。这让我相信它比 HUE 更基于 Livy Server。
想通了。我试图在 cluster 模式下在 YARN 上 运行 Spark，我切换到 client 并修复了它。一定是在集群机器上遗漏了 reference/file。
此时我不知所措。我正在尝试 运行 PySpark/SparkR 在 Apache HUE 4.3 上，使用 Spark 2.4 + Livy Server 0.5.0。我遵循了我能找到的所有指南，但我一直 运行 关注这个问题。基本上，我可以通过命令行 运行 PySpark/SparkR，但是出于某种原因，HUE 会执行以下操作：
- 忽略我在多个地方设置的所有 Spark 配置（执行程序内存、内核等）（
spark-defaults.conf、livy.conf和livy-client.conf） - 成功为 PySpark 和 SparkR 创建会话，但是当您尝试做任何事情时（即使只是
print(1+1)），我得到InterpreterError: Fail to start interpreter - 实际上在 HUE 上使用 Scala。 Scala 可以工作，但 PySpark 和 SparkR 不能在 HUE 上使用（大概是因为 Scala 是基于 java 的）。
任何需要的配置我都可以提供。这快把我逼疯了。
我也无法通过 REST API 与 PySpark 交互，同样的 InterpreterError。这让我相信它比 HUE 更基于 Livy Server。
想通了。我试图在 cluster 模式下在 YARN 上 运行 Spark，我切换到 client 并修复了它。一定是在集群机器上遗漏了 reference/file。