Spark 集群的 Ambari 仪表板内存使用说明

Ambari dashboard memory usage explanation for spark cluster

我正在使用 Ambari 监控我的 spark 集群,我对所有的内存类别感到有点困惑;有专业知识的人可以解释这些术语的含义吗?提前致谢!

这是 Ambari 内存使用情况缩小的屏幕截图:

基本上,swapShareCacheBuffer 内存使用量代表什么? (我觉得我理解Total很好)

这里没有特定于 Spark 或 Ambari 的内容。这些是基本的 Linux / Unix 内存管理术语:

简而言之:

  • Swap是写入磁盘的内存的一部分。参见 Wikipedia and What is swap memory?
  • 缓冲区和缓存用于缓存文件系统数据和文件数据。参见 What is the difference between buffer vs cache memory in Linux? and Overview of memory management
  • 共享内存是用于共享库的虚拟内存的一部分。