apache zeppelin 抛出 NullPointerException 错误

Question

我是 zeppelin 的新手，正在尝试在我的系统上设置 zeppelin。到目前为止，我已经完成了以下步骤：

已从 here
在我的系统环境变量中设置JAVA_HOME。
Goto zeppelin-0.7.3-bin-all\bin 和运行 zeppelin.cmd
能够在 http://localhost:8090

当我尝试运行 load data into table zeppelin tutotial -> Basic Features(spark) 中提到的程序时，它抛出以下错误

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access1(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我可以在 zeppelin-ui 的输出中看到上面提到的错误日志，同时我的控制台 (cmd) 显示以下错误：

DEBUG [2018-01-11 10:55:30,059] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:206) - DEBUG [2018-01-11 10:55:30,059] ({pool-1-thread-3} Interpreter.java[getProperty]:165) - key: zeppelin.spark.concurrentSQL, value: false
 WARN [2018-01-11 10:55:30,061] ({pool-2-thread-2} NotebookServer.java[afterStatusChange]:2064) - Job 20150210-015259_1403135953 is finished, status: ERROR, exception: null, result: %text java.lang.NullPointerException
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
        at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
        at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
        at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
        at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
        at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
        at org.apache.zeppelin.scheduler.FIFOScheduler.run(FIFOScheduler.java:139)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access1(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

有什么我遗漏的或与 spark 有关的吗？因为我假设齐柏林飞艇会处理火花，我们不必设置火花。在此先感谢您对我的帮助！

Answer 1

首先我会确保 spark 通常是运行ning。

您是否尝试过运行一个新的 "spark notebook"。

创建新笔记本
select spark 作为默认解释器
只是运行一个包含 "sc" 的段落

它试图初始化一个sparkcontext。当它工作时我们很好，我们需要检查您正在使用的段落中使用的选项和语法。

如果那不是运行ning 我会 check/set zeppelin-env.cmd 具有以下变量：

SPARK_HOME
JAVA_HOME
HADOOP_CONF_DIR（如果使用 hadoop）

如果您没有在 windows 上设置 spark，它仍然无法工作。

下载你喜欢使用的spark版本https://spark.apache.org/downloads.html
将其解压缩到您选择的文件夹中 (e.g.windows c:/hadoop/sparkVERSION)

如果所有这些步骤都不起作用，请向我展示您尝试的输出和代码运行。

BR

更新在 post 之后准确描述了如何在 windows 到运行教程中设置 zeppelin。

https://hernandezpaul.wordpress.com/2016/11/14/apache-zeppelin-installation-on-windows-10/

我刚刚在我的 windows 机器上完成了它，它对我来说运行良好。

Answer 2

我在带有 spark 2.3 的 HDP 3.1 上的 Zeppelin 0.8 遇到了同样的问题，我认为问题出在重写库中，这些库已经存在于 spark interepreter 中。

代码与 Kafka DirectStream 一起工作，但对于这个问题并不重要。

看，我的评论是有效的。

%spark2.dep
z.reset()
z.addRepo("MavenCentral").url("https://mvnrepository.com/")
z.load("org.apache.spark:spark-streaming-kafka-0-10_2.11:2.3.0")
z.load("org.apache.kafka:kafka-clients:2.3.0")
//z.load("org.apache.spark:spark-streaming_2.11:2.3.0")
//z.load("org.apache.spark:spark-core_2.11:2.3.2")
//z.load("org.apache.spark:spark-sql_2.11:2.3.2")

apache zeppelin 抛出 NullPointerException 错误

apache zeppelin throwing NullPointerException error

java

hadoop

apache-spark

apache-zeppelin