运行 使用 Scala 2.11 在独立模式下使用 Spark?
Run Spark in standalone mode with Scala 2.11?
我按照说明使用 Scala 2.11 构建 Spark:
mvn -Dscala-2.11 -DskipTests clean package
然后我按照说明启动:
./sbin/start-master.sh
失败,日志文件中有两行:
Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.
显然,它正在寻找 scala-2.10 版本,但我找到了 scala-2.11 版本。我尝试了明显的 -Dscala-2.11 标志,但这并没有改变任何东西。文档没有提及如何使用 scala 2.11 在独立模式下 运行。
提前致谢!
在构建之前你必须运行下面的脚本:
dev/change-version-to-2.11.sh
应该用 2.11 替换对 2.10 的引用。
Note that this will not necessarily work as intended with non-GNU sed (e.g. OS X)
我按照说明使用 Scala 2.11 构建 Spark:
mvn -Dscala-2.11 -DskipTests clean package
然后我按照说明启动:
./sbin/start-master.sh
失败,日志文件中有两行:
Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.
显然,它正在寻找 scala-2.10 版本,但我找到了 scala-2.11 版本。我尝试了明显的 -Dscala-2.11 标志,但这并没有改变任何东西。文档没有提及如何使用 scala 2.11 在独立模式下 运行。
提前致谢!
在构建之前你必须运行下面的脚本:
dev/change-version-to-2.11.sh
应该用 2.11 替换对 2.10 的引用。
Note that this will not necessarily work as intended with non-GNU sed (e.g. OS X)