如何在 Spark Amazon EC2 集群上增加 Java 堆 space？
How to increase Java heap space on Spark Amazon EC2 cluster?
我使用 Java Spark API 编写了一个程序。鉴于我的数据很大，我收到以下错误
java.lang.OutOfMemoryError: Java heap space
知道如何增加 Aws 上 Spark EC2 集群的 java 堆 space 吗？如有必要，我可以提供有关我的代码和集群设置的详细信息。谢谢。
我能够通过在将应用程序 jar 提交到 spark-submit 时添加两个标志来增加堆 space。
--executor-memory 10g --driver-memory 2g
我使用 Java Spark API 编写了一个程序。鉴于我的数据很大，我收到以下错误
java.lang.OutOfMemoryError: Java heap space
知道如何增加 Aws 上 Spark EC2 集群的 java 堆 space 吗？如有必要，我可以提供有关我的代码和集群设置的详细信息。谢谢。
我能够通过在将应用程序 jar 提交到 spark-submit 时添加两个标志来增加堆 space。
--executor-memory 10g --driver-memory 2g