sparksession getorcreate 方法卡住,直到其他 spark 作业 运行

sparksession getorcreate method stuck till other spark job is running

我正在尝试 运行 从 oozie 启动工作,我在 oozie 工作流程中有两个操作,它们是 运行 并行的。然而,当 Oozie 开始时,另一个会卡住,直到一个在 sparksession.getorcreate() 方法处完成。

self.spark_session = SparkSession.builder.master(master).appName(appName).config(conf=conf).enableHiveSupport().getOrCreate()

如果您在 YARN 上 运行 - 打开资源管理器 UI 并检查是否有足够的资源用于所有作业(例如 vCores/Memory)。