为 apache spark 构建问题

Question

当我尝试构建我的 apache spark 项目时，我一直遇到 sbt 依赖性问题。我有 Apache Spark 1.3.1。

我的 .sbt 文件是这样的：

name := "Transaction"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.1"

resolvers ++= Seq(
"Akka Repository" at "http://repo.akka.io/releases/",
"Spray Repository" at "http://repo.spray.cc/")

而且我不断收到此错误：

[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.10;1.3.1: not found

我看遍了，这似乎是一个长期存在的问题，但没有人真正解决它。

感谢您的帮助！

Answer 1

我真的想通了。你只需要把 "provided"放在 spark 版本之后。

name := "Transaction Fraud"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.1" % "provided"

resolvers ++= Seq(
"Akka Repository" at "http://repo.akka.io/releases/",
"Spray Repository" at "http://repo.spray.cc/")

Answer 2

我用过

“org.apache.spark” % “spark-core_2.10” % “1.3.1”

而不是

“org.apache.spark” %% “spark-core” % “1.3.1”

成功了！

编辑：但是，在专门制作我的 scalaVersion 2.10 之后，我能够使后一条语句起作用：

scalaVersion := "2.10"

可能是因为它试图寻找不存在的特定 2.10.4 jar。

为 apache spark 构建问题

Build issues for apache spark

scala

apache-spark

sbt