Mahout 和 Spark 版本兼容性
Mahout and Spark version compatibility
我目前正在使用 Mahout 0.13.0。当我尝试使用 spark-itemsimilarity 时出现错误:
线程中的异常 "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
我怀疑这可能是 Spark 版本的问题,但我找不到我需要的 Spark 版本。我目前使用的是 Spark 2.1.0.
所以我的问题是,Mahout 0.13.0 与哪个版本的 Spark 兼容?
我认为开发分支中有一个 Maven 配置文件,用于使用 Spark 2.x 和 Scala 2.11 进行构建,但直到一周左右的 0.13.1 才发布任何工件。
两者都兼容,就是神器组合太多,赶不上。
Spark 2.1 / Scala 2.11 上没有 Mahout 0.13.0 的二进制文件,但是可以为 Spark 2.1 构建 Mahout(不幸的是没有配置文件,必须使用 D 开关完成)
要构建您需要执行以下操作:
git clone http://github.com/apache/mahout
cd mahout
mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11
此外,Pat 是正确的 - 希望很快就会发布,将有二进制文件。
我目前正在使用 Mahout 0.13.0。当我尝试使用 spark-itemsimilarity 时出现错误:
线程中的异常 "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
我怀疑这可能是 Spark 版本的问题,但我找不到我需要的 Spark 版本。我目前使用的是 Spark 2.1.0.
所以我的问题是,Mahout 0.13.0 与哪个版本的 Spark 兼容?
我认为开发分支中有一个 Maven 配置文件,用于使用 Spark 2.x 和 Scala 2.11 进行构建,但直到一周左右的 0.13.1 才发布任何工件。
两者都兼容,就是神器组合太多,赶不上。
Spark 2.1 / Scala 2.11 上没有 Mahout 0.13.0 的二进制文件,但是可以为 Spark 2.1 构建 Mahout(不幸的是没有配置文件,必须使用 D 开关完成)
要构建您需要执行以下操作:
git clone http://github.com/apache/mahout
cd mahout
mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11
此外,Pat 是正确的 - 希望很快就会发布,将有二进制文件。