Pivot spark scala 数据框

Question

我正在尝试在 scala-spark 中使用 pivot 方法

val dfOutput =  df_input.groupBy("memberlogin").pivot("country_group2").count()

但是，虽然在 eclipse 中创建 jar 时没有任何编译错误， 在 spark 中执行时，它给出的错误为 --
Exception in thread "main" java.lang.NoSuchMethodError:

org.apache.spark.sql.GroupedData.pivot(Ljava/lang/String;)Lorg/apache/spark/sql/GroupedData;

我已经导入了所需的库，

import org.apache.spark.sql.GroupedData
import org.apache.spark.sql.functions

另外，

import sqlContext.implicits._

正如其他线程声称的那样。

它不起作用，无法理解，有人可以帮助或指导方向吗？

Answer 1

在 Spark 1.6 中添加了透视功能，它可以使用 DataFrame（使用 Scala、Java 或 Python）创建透视表。

Answer 2

在 Spark 1.6 中引入了旋转功能，请查看此文档 Reshaping Data with Pivot in Apache Spark . Check the API Pivot Api