内存配置

Question

我对内存配置有疑问。我正在运行使用 Spark、Cassandra、Hadoop、Thrift 和 Yarn 创建一个 3 节点集群。我想将我的文件存储在 hdfs 中，所以我加载了 hadoop。我发现当运行ning 我的查询时，我运行ning 内存不足。我能够弄清楚如何在小于 4gb 的情况下将 cassandra 限制为运行。 hadoop有这样的设置吗？纱线呢？因为我只使用 hadoop 来加载我的平面文件，所以我认为将它设置为 1 或 2gb 应该没问题。我的盒子每个有 32gb 的 ram 和 16 个内核。

Answer 1

很难说没有你所面临的错误信息。但是如果你想检查你的工作人员的内存分配，你可以在你的 yarn-site.xml:

设置这两个配置

<name>yarn.nodemanager.resource.memory-mb</name>
  <value>40960</value> <!-- 40 GB -->

<name>yarn.scheduler.maximum-allocation-mb</name> <!-Max RAM-per-container->
  <value>8192</value>

您可以在此处查看更多详细信息。

内存配置

Memory configurations

apache-spark

hadoop2