Spark 缓存 RDD 未显示在 Spark History WebUI 上 - 存储
Spark cache RDD don't show up on Spark History WebUI - Storage
我在 CDH-5.4.4 中使用 Spark-1.4.1。
我使用 rdd.cache() 函数，但它在 Spark History WebUI
上的 Storage tab 中什么也没显示
有没有人遇到同样的问题？如何解决？
你的 RDD 只有在被评估后才会被缓存，强制评估（并因此填充缓存）的最常见方法是调用 count 例如：
rdd.cache() // Nothing in storage page yet & nothing cached
rdd.count() // RDD evaluated, cached & in storage page.
除了强制 RDD 评估（通过一个动作，比如 count），我还必须启用 Spark 选项：
spark.eventLog.logBlockUpdates.enabled=true
顺便说一句，我使用的是 Spark 2.3.0。
我在 CDH-5.4.4 中使用 Spark-1.4.1。
我使用 rdd.cache() 函数，但它在 Spark History WebUI
Storage tab 中什么也没显示
有没有人遇到同样的问题？如何解决？
你的 RDD 只有在被评估后才会被缓存，强制评估（并因此填充缓存）的最常见方法是调用 count 例如：
rdd.cache() // Nothing in storage page yet & nothing cached
rdd.count() // RDD evaluated, cached & in storage page.
除了强制 RDD 评估（通过一个动作，比如 count），我还必须启用 Spark 选项：
spark.eventLog.logBlockUpdates.enabled=true
顺便说一句，我使用的是 Spark 2.3.0。