Spark 集群 OutOfMemoryError 需要更多内存

Question

我有一个带有 28gb 驱动程序和 8 个 56gb 工作程序的 spark 集群。我正在尝试处理一个 4gb 的文件。我可以在我自己的笔记本电脑上的 16gb 内存上不使用 spark 成功地处理这个文件，所以没有内存泄漏导致使用完整的 56gb，它也可以处理较小的示例文件。我正在使用 azure databricks 提交这项工作（尽管这应该是无关紧要的）。我的 spark 集群上的所有配置都是默认的。

有问题的代码

  var ou = distData.map(s => ProcessObj.exec(s.toString) ).collect

完整堆栈跟踪：

java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3236)
at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:118)
at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93)
at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:153)
at org.apache.spark.util.ByteBufferOutputStream.write(ByteBufferOutputStream.scala:41)
at java.io.DataOutputStream.write(DataOutputStream.java:107)
at java.io.ObjectOutputStream$BlockDataOutputStream.write(ObjectOutputStream.java:1853)
at java.io.ObjectOutputStream.write(ObjectOutputStream.java:709)
at java.nio.channels.Channels$WritableByteChannelImpl.write(Channels.java:458)
at org.apache.spark.util.SerializableBuffer$$anonfun$writeObject.apply(SerializableBuffer.scala:49)
at org.apache.spark.util.SerializableBuffer$$anonfun$writeObject.apply(SerializableBuffer.scala:47)
at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1359)
at org.apache.spark.util.SerializableBuffer.writeObject(SerializableBuffer.scala:47)
at sun.reflect.GeneratedMethodAccessor153.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:1128)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1496)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:348)
at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:43)
at org.apache.spark.rpc.netty.RequestMessage.serialize(NettyRpcEnv.scala:565)
at org.apache.spark.rpc.netty.NettyRpcEnv.send(NettyRpcEnv.scala:193)
at org.apache.spark.rpc.netty.NettyRpcEndpointRef.send(NettyRpcEnv.scala:528)
at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend$DriverEndpoint$$anonfun$launchTasks.apply(CoarseGrainedSchedulerBackend.scala:315)
at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend$DriverEndpoint$$anonfun$launchTasks.apply(CoarseGrainedSchedulerBackend.scala:293)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)

更新：

已尝试使用以下 spark 配置，但仍然出现内存不足错误：

spark.executor.memory 40g
spark.driver.memory 20g

Answer 1

spark.driver.memory 默认为 1GB。对于 Azure 上的预配置 Spark，它可能有所不同，但它似乎仍然少于您尝试处理的数据量。

然后你在 DataFrame 上调用 collect()，结果内容将被传输到驱动程序主机，所以它应该能够存储在驱动程序进程的内存中，这是一个 JVM 进程，具有预先设定的可用数量内存（一般无法调整到所有主机内存）。

Spark 集群 OutOfMemoryError 需要更多内存

Spark cluster OutOfMemoryError with way more memory then needed

azure

apache-spark

databricks