在 YARN 问题上提交 Flink 作业
Submiting Flink Job on YARN Issue
我想用这个命令在 YARN 上提交我的 flink 作业：
./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar
但我遇到了这个错误：
is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
这是因为名为 yarn.nodemanager.vmem-pmem-ratio 的变量默认设置为 2.1，在这个命令中这个比率是 4096/ 1024 = 4
你有 3 种方式：
1 - 如果您有权访问 YARN 配置，您可以设置 yarn.nodemanager.vmem-check-enabled is yarn-site.xml 为 false.
2 - 如果您有权访问配置，另一个方法是将比率值从 2.1 更改为 5，例如
3 - 如果您没有访问权限，您可以更改 YARN 配置，您可以更改 ytm 和 yjm 值以满足比率条件，例如： -yjm 4096 -ytm 4096.
我想用这个命令在 YARN 上提交我的 flink 作业：
./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar
但我遇到了这个错误：
is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
这是因为名为 yarn.nodemanager.vmem-pmem-ratio 的变量默认设置为 2.1，在这个命令中这个比率是 4096/ 1024 = 4
你有 3 种方式：
1 - 如果您有权访问 YARN 配置，您可以设置 yarn.nodemanager.vmem-check-enabled is yarn-site.xml 为 false.
2 - 如果您有权访问配置，另一个方法是将比率值从 2.1 更改为 5，例如
3 - 如果您没有访问权限，您可以更改 YARN 配置，您可以更改 ytm 和 yjm 值以满足比率条件，例如： -yjm 4096 -ytm 4096.