清洁 ubuntu 机器上的苏打水设置

Question

我一直在尝试在亚马逊私有云上的干净 Ubuntu 14.04 机器上设置 Hadoop/Spark/Sparkling Water。以 root 身份执行所有操作。我成功地 apt-get java-6，scala 2.10.5，然后 wget 和解压 hadoop 2.6，spark 1.2.1，和 sparkling water 0.2.1-47.

我将 HADOOP_HOME 和 SPARK_HOME 导出到正确的目录，并且运行 bin/sparkling-shell:

import org.apache.spark.h2o._
import org.apache.spark.examples.h2o._
val h2oContext = new H2OContext(sc).start()

然后是大量的起始任务X/完成任务X输出，接着是

java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors:
  numH2OWorkers = -1"
  executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false)
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112)
(...)

有人可以指出我可能做错了什么吗 and/or 不见了？如果needed/helpful我可以post我的精确设置脚本。

Answer 1

我通过构建项目而不是下载 zip 解决了这个问题。当前适用于我的设置（我不认为它是唯一有效的设置）是：openjdk7、hadoop 2.6、spark 1.2.0。注意 HADOOP_HOME 和 SPARK_HOME 必须导出 shell 变量，机器的私有 IP 必须添加到 /etc/hosts table，这可以通过：

echo $(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | cut -d' ' -f1) $(hostname) localhost >> /etc/hosts

然后git克隆sparkling-water项目并在项目目录下./gradlew build。

清洁 ubuntu 机器上的苏打水设置

Sparkling Water setup on clean ubuntu machine

hadoop

apache-spark

h2o