顶点失败。 Azure HDINSIGHT 配置单元内存不足错误
vertex failed. Out of memory error in Azure HDINSIGHT hive
我在加入 2 个数据集时遇到内存不足问题；一个包含 39M 行，另一个包含 360K 行。
我有 2 个工作节点，每个工作节点的最大内存为 125 GB。
In Yarn Memory allocated for all YARN containers on a node = 96GB
Minimum Container Size (Memory) = 3072
在 Hive 设置中：
hive.tez.java.opts=-Xmx2728M -Xms2728M -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseG1GC -XX:+ResizeTLAB
hive.tez.container.size=3410
我应该设置什么值来摆脱内存不足的问题。
我通过增加分配的纱线内存解决了这个问题
最小容器大小（内存）= 3072 到 3840
为节点上的所有 YARN 容器分配的内存 96 到 120 GB（每个节点有 120GB）
为节点上的所有容器分配的物理 CPU 百分比 80%
虚拟核心数8
https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-hive-out-of-memory-error-oom
我在加入 2 个数据集时遇到内存不足问题；一个包含 39M 行，另一个包含 360K 行。
我有 2 个工作节点，每个工作节点的最大内存为 125 GB。
In Yarn Memory allocated for all YARN containers on a node = 96GB
Minimum Container Size (Memory) = 3072
在 Hive 设置中：
hive.tez.java.opts=-Xmx2728M -Xms2728M -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseG1GC -XX:+ResizeTLAB
hive.tez.container.size=3410
我应该设置什么值来摆脱内存不足的问题。
我通过增加分配的纱线内存解决了这个问题 最小容器大小（内存）= 3072 到 3840 为节点上的所有 YARN 容器分配的内存 96 到 120 GB（每个节点有 120GB）
为节点上的所有容器分配的物理 CPU 百分比 80%
虚拟核心数8
https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-hive-out-of-memory-error-oom