如何在 Java 中序列化 apache spark 的 MatrixFactorizationModel
How to serialize apache spark's MatrixFactorizationModel in Java
我正在使用 Apache Spark MLlib 和 Java 构建推荐系统。构建 MatrixFactorizationModel 后，我将其序列化为 java 对象，并且在检索模型时出现以下异常。
Caused by: java.lang.ClassNotFoundException:
org.apache.spark.OneToOneDependency cannot be found by
org.scala-lang.scala-library_2.10.4.v20140209-180020-VFINAL-b66a39653b
知道如何解决这个问题吗？
您使用的是不兼容的 scala 和 spark 版本。
Spark 1.4.0 需要 scala version 2.11.6 但正在使用 scala 版本 2.10.4（来自您的错误堆栈）。
PS:您可以从 here
中找到兼容的版本
我正在使用 Apache Spark MLlib 和 Java 构建推荐系统。构建 MatrixFactorizationModel 后，我将其序列化为 java 对象，并且在检索模型时出现以下异常。
Caused by: java.lang.ClassNotFoundException: org.apache.spark.OneToOneDependency cannot be found by org.scala-lang.scala-library_2.10.4.v20140209-180020-VFINAL-b66a39653b
知道如何解决这个问题吗？
您使用的是不兼容的 scala 和 spark 版本。
Spark 1.4.0 需要 scala version 2.11.6 但正在使用 scala 版本 2.10.4（来自您的错误堆栈）。
PS:您可以从 here
中找到兼容的版本