未找到 spark-sql 中的聚合函数

Question

我是 Spark 的新手，我正在尝试使用一些聚合功能，例如 sum 或 avg。我在 spark-shell 中的查询完美运行：

val somestats = pf.groupBy("name").agg(sum("days")).show()

当我尝试从 scala 项目 运行 它时，它不起作用，抛出一条错误消息

not found: value sum

我尝试添加

import sqlContext.implicits._
import org.apache.spark.SparkContext._

就在命令之前，但没有帮助。我的 spark 版本是 1.4.1 我是否遗漏了什么？

Answer 1

您需要导入：

import org.apache.spark.sql.functions._

Answer 2

可以直接在GroupedData(groupByreturn这种类型)上使用sum方法

val somestats = pf.groupBy("name").sum("days").show()