Spring DataFlow Yarn - 容器 运行 超出了物理内存
Spring DataFlow Yarn - Container is running beyond physical memory
我是 运行 Spring Yarn 上的 Cloud Tasks 简单任务工作正常但 运行 需要更多资源的更大任务我得到 "Container is running beyond physical memory" 错误：
onContainerCompleted:ContainerStatus: [ContainerId:
container_1485796744143_0030_01_000002, State: COMPLETE, Diagnostics: Container [pid=27456,containerID=container_1485796744143_0030_01_000002] is running beyond physical memory limits. Current usage: 652.5 MB of 256 MB physical memory used; 5.6 GB of 1.3 GB virtual memory used. Killing container.
Dump of the process-tree for container_1485796744143_0030_01_000002 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 27461 27456 27456 27456 (java) 1215 126 5858455552 166335 /usr/lib/jvm/java-1.8.0/bin/java -Dserver.port=0 -Dspring.jmx.enabled=false -Dspring.config.location=servers.yml -jar cities-job-0.0.1.jar --spring.datasource.driverClassName=org.h2.Driver --spring.datasource.username=sa --spring.cloud.task.name=city2 --spring.datasource.url=jdbc:h2:tcp://localhost:19092/mem:dataflow
|- 27456 27454 27456 27456 (bash) 0 0 115806208 705 /bin/bash -c /usr/lib/jvm/java-1.8.0/bin/java -Dserver.port=0 -Dspring.jmx.enabled=false -Dspring.config.location=servers.yml -jar cities-job-0.0.1.jar --spring.datasource.driverClassName='org.h2.Driver' --spring.datasource.username='sa' --spring.cloud.task.name='city2' --spring.datasource.url='jdbc:h2:tcp://localhost:19092/mem:dataflow' 1>/var/log/hadoop-yarn/containers/application_1485796744143_0030/container_1485796744143_0030_01_000002/Container.stdout 2>/var/log/hadoop-yarn/containers/application_1485796744143_0030/container_1485796744143_0030_01_000002/Container.stderr
我尝试在 DataFlow 的 server.yml 设置中调整选项：
spring:
deployer:
yarn:
app:
baseDir: /dataflow
taskappmaster:
memory: 512m
virtualCores: 1
javaOpts: "-Xms512m -Xmx512m"
taskcontainer:
priority: 1
memory: 512m
virtualCores: 1
javaOpts: "-Xms256m -Xmx512m"
我发现 taskappmaster 内存变化是可见的（YARN 中的 AM 容器设置为此值），但 taskcontainer 内存选项没有改变 - 创建的每个 Cloud Task 容器只有 256 mb，这是YarnDeployer.
为此 server.yml 预期结果是为 Application Master 和 Application Container 分配 2 个容器，其中 512 个。但是 YARN 为 application master 分配了 2 个容器 512，为 application 分配了 256 mb。
我不认为这个问题与 YARN 错误的选项有关，因为 Spark 应用程序可以正常工作，占用 GB 的内存。
我的一些 YARN 设置：
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.reduce.memory.mb 2880
mapreduce.map.java.opts -Xmx3277m
mapreduce.map.memory.mb 4096
yarn.nodemanager.vmem-pmem-ratio 5
yarn.nodemanager.vmem-check-enabled false
yarn.scheduler.minimum-allocation-mb 32
yarn.nodemanager.resource.memory-mb 11520
我的 Hadoop 运行时是 EMR 4.4.0，我还必须将默认 java 更改为 1.8。
清理 HDFS 中的 /dataflow 目录可解决问题，删除此目录后 SpringDataFlow 上传所有需要的文件。另一种方法是自己删除文件并上传新文件。
我是 运行 Spring Yarn 上的 Cloud Tasks 简单任务工作正常但 运行 需要更多资源的更大任务我得到 "Container is running beyond physical memory" 错误：
onContainerCompleted:ContainerStatus: [ContainerId:
container_1485796744143_0030_01_000002, State: COMPLETE, Diagnostics: Container [pid=27456,containerID=container_1485796744143_0030_01_000002] is running beyond physical memory limits. Current usage: 652.5 MB of 256 MB physical memory used; 5.6 GB of 1.3 GB virtual memory used. Killing container.
Dump of the process-tree for container_1485796744143_0030_01_000002 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 27461 27456 27456 27456 (java) 1215 126 5858455552 166335 /usr/lib/jvm/java-1.8.0/bin/java -Dserver.port=0 -Dspring.jmx.enabled=false -Dspring.config.location=servers.yml -jar cities-job-0.0.1.jar --spring.datasource.driverClassName=org.h2.Driver --spring.datasource.username=sa --spring.cloud.task.name=city2 --spring.datasource.url=jdbc:h2:tcp://localhost:19092/mem:dataflow
|- 27456 27454 27456 27456 (bash) 0 0 115806208 705 /bin/bash -c /usr/lib/jvm/java-1.8.0/bin/java -Dserver.port=0 -Dspring.jmx.enabled=false -Dspring.config.location=servers.yml -jar cities-job-0.0.1.jar --spring.datasource.driverClassName='org.h2.Driver' --spring.datasource.username='sa' --spring.cloud.task.name='city2' --spring.datasource.url='jdbc:h2:tcp://localhost:19092/mem:dataflow' 1>/var/log/hadoop-yarn/containers/application_1485796744143_0030/container_1485796744143_0030_01_000002/Container.stdout 2>/var/log/hadoop-yarn/containers/application_1485796744143_0030/container_1485796744143_0030_01_000002/Container.stderr
我尝试在 DataFlow 的 server.yml 设置中调整选项：
spring:
deployer:
yarn:
app:
baseDir: /dataflow
taskappmaster:
memory: 512m
virtualCores: 1
javaOpts: "-Xms512m -Xmx512m"
taskcontainer:
priority: 1
memory: 512m
virtualCores: 1
javaOpts: "-Xms256m -Xmx512m"
我发现 taskappmaster 内存变化是可见的（YARN 中的 AM 容器设置为此值），但 taskcontainer 内存选项没有改变 - 创建的每个 Cloud Task 容器只有 256 mb，这是YarnDeployer.
为此 server.yml 预期结果是为 Application Master 和 Application Container 分配 2 个容器，其中 512 个。但是 YARN 为 application master 分配了 2 个容器 512，为 application 分配了 256 mb。
我不认为这个问题与 YARN 错误的选项有关，因为 Spark 应用程序可以正常工作，占用 GB 的内存。
我的一些 YARN 设置：
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.reduce.memory.mb 2880
mapreduce.map.java.opts -Xmx3277m
mapreduce.map.memory.mb 4096
yarn.nodemanager.vmem-pmem-ratio 5
yarn.nodemanager.vmem-check-enabled false
yarn.scheduler.minimum-allocation-mb 32
yarn.nodemanager.resource.memory-mb 11520
我的 Hadoop 运行时是 EMR 4.4.0，我还必须将默认 java 更改为 1.8。
清理 HDFS 中的 /dataflow 目录可解决问题，删除此目录后 SpringDataFlow 上传所有需要的文件。另一种方法是自己删除文件并上传新文件。