Java 运行时环境内存不足,无法继续执行 spark-submit

There is insufficient memory for the Java Runtime Environment to continue with spark-submit

我是 运行 pyspark 工作

spark-submit --driver-memory 2g --executor-memory 2g  --conf spark.driver.maxResultSize=2g job.py

我尝试更改多个选项,但每次都出现以下错误:

OpenJDK 64 位服务器 VM 警告:信息:os::commit_memory(0x000000072324e000, 985616384, 0) 失败;错误='Cannot allocate memory' (errno=12)

Java 运行时环境内存不足,无法继续。

本机内存分配 (mmap) 未能映射 985616384 字节以提交保留内存。

包含更多信息的错误报告文件另存为:

我是 spark 的新手,谁能帮我解决这个问题。

尝试减少驱动程序内存 - 您提交作业的节点 运行 内存不足。