Spark:连接列表?
Spark: Concatenating lists?
如何连接所有列表:
org.apache.spark.rdd.RDD[List[Record]]
获取单个集合:
val values: org.apache.spark.rdd.RDD[Record]
有什么想法吗?
flatMap
那个!
val rdd : org.apache.spark.rdd.RDD[List[Record]] = ???
val flattened = rdd.flatMap(identity)
其中identity
是恒等函数f(x) => x
如何连接所有列表:
org.apache.spark.rdd.RDD[List[Record]]
获取单个集合:
val values: org.apache.spark.rdd.RDD[Record]
有什么想法吗?
flatMap
那个!
val rdd : org.apache.spark.rdd.RDD[List[Record]] = ???
val flattened = rdd.flatMap(identity)
其中identity
是恒等函数f(x) => x