Apache Spark:指向父 RDD 的引用指针
Apache Spark: Reference pointer to the parent RDD
我了解 SPARK 维护 RDD 的沿袭信息。假设我有一个 RDD "a" 并对其进行一些转换,我生成了一个新的 RDD "b"。在这种情况下,"a" 是 "b" 的父 RDD。是否可以通过引用父指针从 RDD "b" 取回 RDD "a"?
谢谢!
要看真题是什么:
- 是 - 例如,如果您扩展 RDD。
compute
方法的大多数实现都是必需的。
- 否 - 依赖项不可公开访问,因此您无法从 RDD 实例获取父项。
我了解 SPARK 维护 RDD 的沿袭信息。假设我有一个 RDD "a" 并对其进行一些转换,我生成了一个新的 RDD "b"。在这种情况下,"a" 是 "b" 的父 RDD。是否可以通过引用父指针从 RDD "b" 取回 RDD "a"?
谢谢!
要看真题是什么:
- 是 - 例如,如果您扩展 RDD。
compute
方法的大多数实现都是必需的。 - 否 - 依赖项不可公开访问,因此您无法从 RDD 实例获取父项。