spark sbt编译报错libraryDependencies
spark sbt compile error libraryDependencies
1.2.0-bin-hadoop2.4
而我的 Scala 版本是 2.11.7
。我收到一个错误,所以我不能使用 sbt。
~/sparksample$ sbt
Starting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build file:/home/beyhan/sparksample/)
> sbt compile
[info] Updating {file:/home/beyhan/sparksample/}default-f390c8... [info] Resolving org.scala-lang#scala-library;2.11.7 ... [info] Resolving org.apache.spark#spark-core_2.11.7;1.2.0 ... [warn] module not found: org.apache.spark#spark-core_2.11.7;1.2.0 [warn] ==== local: tried [warn] /home/beyhan/.ivy2/local/org.apache.spark/spark-core_2.11.7/1.2.0/ivys/ivy.xml [warn] ==== public: tried [warn] http://repo1.maven.org/maven2/org/apache/spark/spark-core_2.11.7/1.2.0/spark-core_2.11.7-1.2.0.pom [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: UNRESOLVED DEPENDENCIES :: [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: org.apache.spark#spark-core_2.11.7;1.2.0: not found [warn] :::::::::::::::::::::::::::::::::::::::::::::: [error] {file:/home/beyhan/sparksample/}default-f390c8/*:update: sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.11.7;1.2.0: not found [error] Total time: 2 s, completed Oct 15, 2015 11:30:47 AM
有什么建议吗?谢谢
不存在 spark-core_2.11.7
jar 文件。您必须删除 spark 依赖项中的维护版本号 .7
,因为 spark-core_2.11
存在。版本 2.11
的所有 Scala 版本都应该兼容。
更新
一个最小的 sbt 文件看起来像
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
[info] 正在更新 {file:/home/beyhan/sparksample/}default-f390c8...[info] 正在解析 org.scala-lang#scala-library;2.11.7...[info]正在解析 org.apache.spark#spark-core_2.11.7;1.2.0 ... [警告] 未找到模块:org.apache.spark#spark-core_2.11.7;1.2.0 [警告] == == 本地:已尝试 [警告]
/home/beyhan/.ivy2/local/org.apache.spark/spark-core_2.11.7/1.2.0/ivys/ivy.xml [警告] ==== public : 试过 [警告]
正如@Till Rohrmann 所建议的那样,没有 spark-core_2.11.7
这样的东西,而您的 build.sbt 似乎引用了那个库。
我建议您编辑文件 /home/beyhan/sparksample/build.sbt
并删除对该库的引用。
正确的参考是:
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.2.0"
请记住,不仅 spark-core
没有任何版本 2.11.7
,还有您可能正在使用的其他 spark 库。
1.2.0-bin-hadoop2.4
而我的 Scala 版本是 2.11.7
。我收到一个错误,所以我不能使用 sbt。
~/sparksample$ sbt
Starting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build file:/home/beyhan/sparksample/)
> sbt compile
[info] Updating {file:/home/beyhan/sparksample/}default-f390c8... [info] Resolving org.scala-lang#scala-library;2.11.7 ... [info] Resolving org.apache.spark#spark-core_2.11.7;1.2.0 ... [warn] module not found: org.apache.spark#spark-core_2.11.7;1.2.0 [warn] ==== local: tried [warn] /home/beyhan/.ivy2/local/org.apache.spark/spark-core_2.11.7/1.2.0/ivys/ivy.xml [warn] ==== public: tried [warn] http://repo1.maven.org/maven2/org/apache/spark/spark-core_2.11.7/1.2.0/spark-core_2.11.7-1.2.0.pom [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: UNRESOLVED DEPENDENCIES :: [warn] :::::::::::::::::::::::::::::::::::::::::::::: [warn] :: org.apache.spark#spark-core_2.11.7;1.2.0: not found [warn] :::::::::::::::::::::::::::::::::::::::::::::: [error] {file:/home/beyhan/sparksample/}default-f390c8/*:update: sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.11.7;1.2.0: not found [error] Total time: 2 s, completed Oct 15, 2015 11:30:47 AM
有什么建议吗?谢谢
不存在 spark-core_2.11.7
jar 文件。您必须删除 spark 依赖项中的维护版本号 .7
,因为 spark-core_2.11
存在。版本 2.11
的所有 Scala 版本都应该兼容。
更新
一个最小的 sbt 文件看起来像
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
[info] 正在更新 {file:/home/beyhan/sparksample/}default-f390c8...[info] 正在解析 org.scala-lang#scala-library;2.11.7...[info]正在解析 org.apache.spark#spark-core_2.11.7;1.2.0 ... [警告] 未找到模块:org.apache.spark#spark-core_2.11.7;1.2.0 [警告] == == 本地:已尝试 [警告] /home/beyhan/.ivy2/local/org.apache.spark/spark-core_2.11.7/1.2.0/ivys/ivy.xml [警告] ==== public : 试过 [警告]
正如@Till Rohrmann 所建议的那样,没有 spark-core_2.11.7
这样的东西,而您的 build.sbt 似乎引用了那个库。
我建议您编辑文件 /home/beyhan/sparksample/build.sbt
并删除对该库的引用。
正确的参考是:
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.2.0"
请记住,不仅 spark-core
没有任何版本 2.11.7
,还有您可能正在使用的其他 spark 库。