总和 MADlib UDF Spark SQL

Question

我有点不知道如何做到这一点。我正在实现求和函数 MADlib。此函数接受任意数量的数组并添加：

sum ( array [ 1,2] , array [2,3 ] , array [4,5 ] )
Return : [7,10]

我想从下一个语句创建一个函数 return 相同的结果，但不知道如何实现这样的东西：

 def sum[T](args: WrappedArray[T]*)(implicit n: Numeric[T]) = {
     var i : Int = 0;
     for( arg <- args ){
         // Code
         i = i + 1;
     }
  }

 sqlContext.udf.register("sum", sum(_:WrappedArray[Int]*))
 sqlContext.sql("SELECT sum(collect_list(a),collect_list(b),collect_list(c)) from df").show

Answer 1

def sum[T](args: WrappedArray[T]*)(implicit n: Numeric[T]) = {
  args.transpose.map(_.sum)
}

sum(Array(1, 2), Array(2, 3), Array(4, 5)) // ArrayBuffer(7, 10)

总和 MADlib UDF Spark SQL

sum MADlib UDF Spark SQL

scala

user-defined-functions

apache-spark

apache-spark-sql