如何在 Spark 中使用 stat() 查找统计信息

Question

我正在尝试显示双 RDD 的 stats()

val stat = x.map(s => s._2).stats()

其中 x 的类型为 RDD[Double]

在spark-shell中，这个运行很好。

但是当 运行在 eclipse 中使用它并使用 sbt 编译时，它会抛出以下错误。

value stats is not a member of org.apache.spark.rdd.RDD[Double]

Answer 1

尝试为具有双精度的 RDD 导入附加函数。

将“导入 org.apache.spark.SparkContext._”添加到您的来源。

当 RDD class 缺少某些内容时，这是常见的 "error"。