找不到 H2o 包 Scala 苏打水

Question

我正尝试在我的 Spark 2.1.0 本地实例上运行 Sparkling Water。我遵循了关于 H2o 的 Sparling Water 文档。但是当我尝试执行

sparkling-shell.cmd

我收到以下错误：

The filename, directory name, or volume label syntax is incorrect.

我查看批处理文件，在执行以下命令时出现此错误：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\../assembly/build/libs/sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

当我删除 --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m" 时，Spark 启动但我无法导入 H2o 的包。

import org.apache.spark.h2o._

error: object h2o is not a member of package org.apache.spark

我尽我所能，但无法解决这个问题。有人可以帮我吗？谢谢

Answer 1

请尝试更正您的路径：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\..\assembly\build\libs\sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

Windows 上还有关于 RSparkling 的文档页面，其中包含不同的故障排除提示... https://github.com/h2oai/sales-engineering/tree/master/megan/RSparklingAndWindows

Answer 2

提交 jar 时 spark-shell 命令出现问题。解决方法是修改 spark-defaults.conf

将spark.driver.extraClassPath和spark.executor.extraClassPath参数添加到spark-defaults.conf文件如下：

spark.driver.extraClassPath    \path\to\jar\sparkling-water-assembly_version>-all.jar

spark.executor.extraClassPath   \path\to\jar\sparkling-water-assembly_version>-all.jar

并从 sparkling-shell2.cmd

中删除 --jars \path\to\jar\sparkling-water-assembly_version>-all.jar

找不到 H2o 包 Scala 苏打水

H2o Package not found Scala Sparkling Water

scala

apache-spark

h2o

sparkling-water