你如何并行化累加器并将其保存为 Spark 中的文本文件
How do you parallelize accumulator and save it as text file in Spark
我有模式累加器，我想将其并行化，我该怎么做？
val patternsAcc = sc.collectionAccumulator[List[Patern]]("Paterns Accumulator")
...
...
//can't parallelize
val result = sc.parallelize(patternsAcc.value)
//save to file
patternsAcc.value的类型是java.util.List[List[Patern]]，不被sc.parrallelize()方法接受。
只需 import scala.collection.JavaConversions._，由于 Scala 的隐式转换，您的代码应该可以工作。
我有模式累加器，我想将其并行化，我该怎么做？
val patternsAcc = sc.collectionAccumulator[List[Patern]]("Paterns Accumulator")
...
...
//can't parallelize
val result = sc.parallelize(patternsAcc.value)
//save to file
patternsAcc.value的类型是java.util.List[List[Patern]]，不被sc.parrallelize()方法接受。
只需 import scala.collection.JavaConversions._，由于 Scala 的隐式转换，您的代码应该可以工作。