Spark 不从 netlib 加载 ARPACK 或 BLAS

Question

我正在为我的数据计算 SVD。但是每当我使用 spark-submit 提交 Spark 应用程序时，日志文件都会指出：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

我使用 -Pnetlib-lgpl 标志构建了 Spark，并且在创建 jar 文件时还在我的 sbt 文件中包含了 netlib 依赖项：

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC 和 Gfortran 版本为 gcc version 4.8.0 (GCC)。我还安装了 BLAS、LAPACK 和 ATLAS，并按照 netlib 站点上的说明进行操作：https://github.com/fommil/netlib-java

在spark-shell中，当我导入为import com.github.fommil.netlib._时，没有提示没有导入。

我已经尝试调试这个问题一段时间了，但我没有想法。有人好心帮我解决这个问题。

Answer 1

这是一个已知的痛点。

我已经按照@https://github.com/PasaLab/marlin/issues/1的说明成功地在 Spark 1.4.x / 1.5.x 和 Intel MKL

中运行了这个可怕的东西

我认为大致有一个地方需要使用 ATALAS 将这些指令调整为 link，但这应该是可行的。

Spark 不从 netlib 加载 ARPACK 或 BLAS

Spark does not load ARPACK or BLAS from netlib

apache-spark

apache-spark-ml

apache-spark-mllib