使用 Java 保留 Spark Jobserver NamedObjects
Persisting Spark Jobserver NamedObjects using Java
使用 Spark Jobserver 0.6.2 和 Apache Spark 2.0.2，我已经实现了一些功能。但是我找不到如何在 java 的特定上下文中持久化数据集以在不同作业之间共享。这个功能只适用于 Scala 吗？因为在互联网上我只能找到 Scala 示例。
我检查了 java 并且 job-server-api_2.11.jar 中有一些 NamedObject* 类 但不知道如何使用它们。实际上我的工作 类 延伸自 spark.jobserver.JavaSparkJob.
谢谢。
您不能将作业服务器 0.6.2 与 Spark 2.0.2 一起使用。请参阅 README.md (https://github.com/spark-jobserver/spark-jobserver#version-information)
您可能需要使用 spark-2.0-preview 分支。
这是一个讨论 java 中新命名对象 API 的话题。其中一个线程也有使用新 API 作为附件的最新示例 https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/spark-jobserver/lFpuiQp4toU/xkZtkxTHBAAJ
使用 Spark Jobserver 0.6.2 和 Apache Spark 2.0.2，我已经实现了一些功能。但是我找不到如何在 java 的特定上下文中持久化数据集以在不同作业之间共享。这个功能只适用于 Scala 吗？因为在互联网上我只能找到 Scala 示例。 我检查了 java 并且 job-server-api_2.11.jar 中有一些 NamedObject* 类 但不知道如何使用它们。实际上我的工作 类 延伸自 spark.jobserver.JavaSparkJob.
谢谢。
您不能将作业服务器 0.6.2 与 Spark 2.0.2 一起使用。请参阅 README.md (https://github.com/spark-jobserver/spark-jobserver#version-information)
中的兼容性矩阵
您可能需要使用 spark-2.0-preview 分支。
这是一个讨论 java 中新命名对象 API 的话题。其中一个线程也有使用新 API 作为附件的最新示例 https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/spark-jobserver/lFpuiQp4toU/xkZtkxTHBAAJ