readTypedObject(con, type) 中的 SparkR 错误:反序列化不支持的类型

SparkR Error in readTypedObject(con, type) : Unsupported type for deserialization

我刚开始使用 SparkR。我写了一个简单的脚本,初始化 Spark 运行 分析并将我的输出收集到 R。当试图通过以下方式停止 sparkR 时:

sparkR.stop()

我得到以下信息:

Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization

而且 Spark 似乎并没有停止,因为:

> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context

任何人都可以向我解释发生了什么以及这个错误意味着什么吗?谢谢

看起来 SparkR 后端进程没有正确退出您可以明确停止 SparkR 后端进程,方法是使用类似 jps 的内容列出所有 java 进程,然后发出 kill <pid> 对应SparkRBackend的pid。 在此之后重新启动 SparkR 应该可以解决问题