为什么 SparkUI 不显示 SparkSQL LRU 缓存的内存使用情况？

Question

当我运行sql查询spark-sql时会使用LRU缓存。 为什么 LRU 缓存使用没有反映在 spark 的 WebUI 中？根据响应时间，我觉得我的查询已缓存，但 "Memory Used" 显示“0.0 B / 707.0 MB” Spark 版本为 1.3.1

Answer 1

Spark 会显示缓存状态。
可通过 "Storage" 选项卡上的 Spark 应用程序 UI 使用。
它将显示存储级别（缓存类型）、缓存分区数、内存大小和磁盘大小。

您没有指定如何使用 Spark 缓存机制。
必须明确启用 Spark 缓存。
您可以查看 here 如何 enable/disable 缓存 Spark 表

您还可以使用以下方法为 RDDs/DataFrams 启用缓存：

rdd.cache() / df.cache() 
rdd.persist(StorageLevel newLevel) / df.persist(StorageLevel newLevel)