Scala、Spark-shell、Groupby 失败

Question

我有 Spark 2.4.0 版和 scala 2.11.12 版。我可以使用以下代码成功加载数据框。

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")

但是，当我尝试按以下方式进行分组时，出现错误。

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()

错误信息是：

error: value groupby is not a member of org.apache.spark.sql.DataFrame

我错过了什么。一个完整的 Scala 和 Spark Newb。

Answer 1

你打错了

改变

    groupby

到

    groupBy

Answer 2

应该是 groupBy 而不是 groupby，如下所示...显然是拼写错误。

df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()

Scala、Spark-shell、Groupby 失败

Scala, Spark-shell, Groupby failing

scala

dataframe

apache-spark

spark-shell