在 Java 中使用 dataset.persisit() 和 dataset.unpersist()

Question

我有一个 Spark 数据集 dataset。 我需要为数据集的每一列做 .collectAsList()。 如何使用 .persist() 和 .unpersist() 来避免大量的操作时间？

由于我是新手，所以我不确定如何使用持久化功能。 我是否需要将其分配给数据集，如 dataset=dataset.persist(); 或仅 dataset.persist() 即可？

Answer 1

如果你只想缓存数据集，那么使用dataset.persist()。同样，dataset.unpersist() 从内存中删除它的所有块。