(Linux AMI) `free` 命令的 EMR 集群版本
(Linux AMI) EMR Cluster version of `free` command
当我从 AWS Linux AMI 启动 pyspark 时，我正在尝试为 spark 分配内存 - 即，当我将精确参数传递给 driver-memory 和 executor-memory 参数调用 pyspark。
我知道我可以在 Instance Types 页面上查看 我在这个 EMR 集群的每个实例上有多少内存？[=22] 的现成答案=] 但我想知道我是否可以从 aws cli 本身执行此操作 ("live")，这样我就可以看到在我的引导启动过程之后我实际使用了多少。
我也知道 Linux 中的 free 命令，但这似乎只给我 ssh 进入的主节点的空闲内存。我也知道 YARN UI 和 Hadoop API，但在这种情况下，如果可能的话，我想从命令行进行检查。
yarn 管理器中将提供您正在查找的有关集群内存使用情况的信息。
Yarn top
Yarn Manger 提供有关节点和已用内存以及可用内存的信息。
跟踪您的所有申请。
以下link提供了更多关于纱线的信息
https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html
当我从 AWS Linux AMI 启动 pyspark 时，我正在尝试为 spark 分配内存 - 即，当我将精确参数传递给 driver-memory 和 executor-memory 参数调用 pyspark。
我知道我可以在 Instance Types 页面上查看 我在这个 EMR 集群的每个实例上有多少内存？[=22] 的现成答案=] 但我想知道我是否可以从 aws cli 本身执行此操作 ("live")，这样我就可以看到在我的引导启动过程之后我实际使用了多少。
我也知道 Linux 中的 free 命令，但这似乎只给我 ssh 进入的主节点的空闲内存。我也知道 YARN UI 和 Hadoop API，但在这种情况下，如果可能的话，我想从命令行进行检查。
yarn 管理器中将提供您正在查找的有关集群内存使用情况的信息。
Yarn top
Yarn Manger 提供有关节点和已用内存以及可用内存的信息。 跟踪您的所有申请。
以下link提供了更多关于纱线的信息 https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html