SPARK：从 spark-glmnet 包中执行 linear/logistic 回归

Question

我是 Spark 的新手，过去几周我一直在学习其中实现的方法。这次我想使用 spark-glmnet 包中实现的函数：spark-glmnet。我对运行ning logistic regression 最感兴趣。

我下载了一个源文件并使用命令创建了一个 fat JAR：

sbt assembly

流程完成后，我将 JAR 文件复制到服务器并运行 Spark shell。

export HADOOP_CONF_DIR=/opt/etc-hadoop/;
/opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \ 
--master yarn-client \
--num-executors 5 \
--executor-cores 6 \
--executor-memory 8g \
--jars /opt/spark-glmnet-assembly-1.5.jar,some_other_jars \ 
--driver-class-path /usr/share/hadoop-2.2.0/share/hadoop/common/lib/mysql-connector-java-5.1.30.jar

但我不知道如何运行在 Spark 中使用这个包的功能。例如，我如何使用坐标下降执行逻辑回归？

Answer 1

答案真的很简单：

 sc.addJar("path_to_my_jar")

SPARK：从 spark-glmnet 包中执行 linear/logistic 回归

SPARK: Perforf linear/logistic regression from spark-glmnet package

scala

logistic-regression

apache-spark