Spark Interpreter 在 Zeppelin 中不起作用

Question

我正在使用 Zeppelin 0.7.0 来运行 Spark 作业。我的 Zeppelin 是独立安装的，而 Spark 是使用 Hortonworks/Ambari（2.6 版）安装的。当我在 Ambari 中检查 Spark 的状态时，它全是绿色的。对于许多口译员来说，Zeppelin 运行ning 也很好。但是 Spark 解释器不起作用。我尝试做的任何事情，甚至像 sc.version 这样简单的事情都会给出完全相同的错误：

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access1(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

这个错误发生得非常意外。 Spark 解释器工作正常，直到几周前开始出现此错误。我重新启动了 Spark 和 Zeppelin，但错误仍然存在。未对 Zeppelin 或 Spark 的配置文件进行任何更改以导致此问题。

Answer 1

我在使用 Zeppelin 时遇到了同样的问题，并已通过解释器设置得到修复。

转到解释器并搜索 select spark Interpreter
单击编辑并将 name 和 value 添加为 zeppelin.spark.useHiveContext = false

希望这有效！

Answer 2

请多查看解释器日志，您看到的错误是创建SparkContext失败，需要查看日志查看SparkContext创建失败的原因。

Spark Interpreter 在 Zeppelin 中不起作用

Spark Interpreter does not work in Zeppelin

interpreter

hadoop

apache-spark

apache-zeppelin