Array_max spark.sql.function 未找到

Question

我需要使用包 org.apache.spark.sql.functions._ 中的函数 array_max 和 array_min，但这两个函数都找不到？

scala> import org.apache.spark.sql.functions._
     import org.apache.spark.sql.functions._
scala>... array_max(col(..))
error: not found: value array_max

ps :

1. scala 版本 2.11.8
2. spark 版本 2.3.0.2.6.5.0-292
3. HDP 2.6.5

Answer 1

def array_max(e: org.apache.spark.sql.Column): org.apache.spark.sql.Column

此 array_max 功能在 Spark 2.3 中不可用，仅在 Spark 2.4 之后可用。

作为参考，请查看下面的 git 回购协议。

Spark 2.3

• https://github.com/apache/spark/blob/branch-2.3/sql/core/src/main/scala/org/apache/spark/sql/functions.scala

Spark 2.4

• https://github.com/apache/spark/blob/branch-2.4/sql/core/src/main/scala/org/apache/spark/sql/functions.scala