Apache Spark broadcast error: Error sending message as driverActor is null [message = UpdateBlockInfo(BlockManagerId

Question

我使用的是 Apache Spark 1.1.0，目前我遇到广播方法问题。因此，当我将小型数据集上的广播函数调用到 5 节点集群时，我在多次广播变量后遇到 "Error sending message as driverActor is null"（jboss 下的应用程序 运行）。

如有任何帮助，我们将不胜感激。

Answer 1

此问题已通过在应用程序中停止重启 SparkContext 解决（运行 在 wildfly 中），因为 actor 系统在此 spark 版本中无法正常关闭。