如何将 MLlib Apache Spark 库安装到 JAVA Eclpise 项目中？

Question

我想使用 Spark MLlib 库为我的 Java 项目实施一些机器学习算法。我尝试了几个教程都没有成功。

我用惯了eclipse，没想到设置这么难。我的假设是我只需要从 here 下载库并将 jar 添加到我的构建路径，但显然这似乎更难。

Answer 1

创建一个maven项目并添加以下依赖项（适用于最新的Spark 2.0.0）。您可以从 运行 简单的程序开始，例如 eclipse 中的 JavaALSExample.java。

https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/ml/JavaALSExample.java

spark github 存储库中有更多 java 示例可供您参考。希望这有帮助。

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.0.0</version>
</dependency>