Mahout 和 Spark 版本兼容性

Mahout and Spark version compatibility

我目前正在使用 Mahout 0.13.0。当我尝试使用 spark-itemsimilarity 时出现错误:

线程中的异常 "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

我怀疑这可能是 Spark 版本的问题,但我找不到我需要的 Spark 版本。我目前使用的是 Spark 2.1.0.

所以我的问题是,Mahout 0.13.0 与哪个版本的 Spark 兼容?

我认为开发分支中有一个 Maven 配置文件,用于使用 Spark 2.x 和 Scala 2.11 进行构建,但直到一周左右的 0.13.1 才发布任何工件。

两者都兼容,就是神器组合太多,赶不上。

Spark 2.1 / Scala 2.11 上没有 Mahout 0.13.0 的二进制文件,但是可以为 Spark 2.1 构建 Mahout(不幸的是没有配置文件,必须使用 D 开关完成)

要构建您需要执行以下操作:

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

此外,Pat 是正确的 - 希望很快就会发布,将有二进制文件。