Spark 运行 Liblinear 无法加载 JBLAS jar

Question

我正在运行ning spark 1.4.0、hadoop 2.7.0 和 JDK 7。我正在尝试运行 Liblinear 的示例代码 here.

liblinear jar 可以工作，但是在训练模型时找不到 JBLAS 库。我试过在启动 spark 时在 --jars 选项中包含一个 JBLAS 库，以及使用 maven 安装 jar（尽管我必须补充说我是 spark 和 maven 的新手，所以我可能做错了）。

具体抛出的错误是这样的：

    java.lang.NoClassDefFoundError: org/jblas/DoubleMatrix
    at tw.edu.ntu.csie.liblinear.Tron.tron(Tron.scala:323)
    at tw.edu.ntu.csie.liblinear.SparkLiblinear$.tw$edu$ntu$csie$liblinear$SparkLiblinear$$train_one(SparkLiblinear.scala:32)`

当运行宁此行时：

    val model = SparkLiblinear.train(data, "-s 0 -c 1.0 -e 1e-2")`

谢谢。

Answer 1

java.lang.NoClassDefFoundError: org/jblas/DoubleMatrix

看来你没有添加jblas jar。解决方案可能是：

$ export SPARK_CLASSPATH=$SPARK_CLASSPATH:/path/to/jblas-1.2.3.jar

之后就正常了

希望这对您有所帮助，

乐国岛

Spark 运行 Liblinear 无法加载 JBLAS jar

Spark running Liblinear unable to load JBLAS jar

scala

maven

jar

apache-spark

liblinear