Spark DataFrame:计算逐行平均值(或任何聚合操作)
Spark DataFrame: Computing row-wise mean (or any aggregate operation)
我在内存中加载了一个 Spark DataFrame,我想对列取平均值(或任何聚合操作)。我该怎么做? (在 numpy
中,这被称为对 axis=1
进行操作)。
如果计算 DataFrame 的平均值(axis=0
),那么这已经内置:
from pyspark.sql import functions as F
F.mean(...)
但是有没有办法以编程方式对列中的条目执行此操作?例如,来自下面的 DataFrame
+--+--+---+---+
|id|US| UK|Can|
+--+--+---+---+
| 1|50| 0| 0|
| 1| 0|100| 0|
| 1| 0| 0|125|
| 2|75| 0| 0|
+--+--+---+---+
省略id
,意思是
+------+
| mean|
+------+
| 16.66|
| 33.33|
| 41.67|
| 25.00|
+------+
在 Scala 中,类似这样的东西就可以做到
val cols = Seq("US","UK","Can")
f.map(r => (r.getAs[Int]("id"),r.getValuesMap(cols).values.fold(0.0)(_+_)/cols.length)).toDF
这里你只需要一个标准的 SQL 像这样:
SELECT (US + UK + CAN) / 3 AS mean FROM df
可以直接用SqlContext.sql
或者用DSL表达
df.select(((col("UK") + col("US") + col("CAN")) / lit(3)).alias("mean"))
如果您有更多的列,您可以生成如下表达式:
from functools import reduce
from operator import add
from pyspark.sql.functions import col, lit
n = lit(len(df.columns) - 1.0)
rowMean = (reduce(add, (col(x) for x in df.columns[1:])) / n).alias("mean")
df.select(rowMean)
或
rowMean = (sum(col(x) for x in df.columns[1:]) / n).alias("mean")
df.select(rowMean)
最终它在 Scala 中的等价物:
df.select(df.columns
.drop(1)
.map(col)
.reduce(_ + _)
.divide(df.columns.size - 1)
.alias("mean"))
在更复杂的情况下,您可以使用 array
函数组合列并使用 UDF 计算统计信息:
import numpy as np
from pyspark.sql.functions import array, udf
from pyspark.sql.types import FloatType
combined = array(*(col(x) for x in df.columns[1:]))
median_udf = udf(lambda xs: float(np.median(xs)), FloatType())
df.select(median_udf(combined).alias("median"))
同样的操作用Scala表达API:
val combined = array(df.columns.drop(1).map(col).map(_.cast(DoubleType)): _*)
val median_udf = udf((xs: Seq[Double]) =>
breeze.stats.DescriptiveStats.percentile(xs, 0.5))
df.select(median_udf(combined).alias("median"))
自 Spark 2.4 以来,另一种方法是将值组合成数组并应用 aggregate
表达式。例如参见 [=20=].
我在内存中加载了一个 Spark DataFrame,我想对列取平均值(或任何聚合操作)。我该怎么做? (在 numpy
中,这被称为对 axis=1
进行操作)。
如果计算 DataFrame 的平均值(axis=0
),那么这已经内置:
from pyspark.sql import functions as F
F.mean(...)
但是有没有办法以编程方式对列中的条目执行此操作?例如,来自下面的 DataFrame
+--+--+---+---+
|id|US| UK|Can|
+--+--+---+---+
| 1|50| 0| 0|
| 1| 0|100| 0|
| 1| 0| 0|125|
| 2|75| 0| 0|
+--+--+---+---+
省略id
,意思是
+------+
| mean|
+------+
| 16.66|
| 33.33|
| 41.67|
| 25.00|
+------+
在 Scala 中,类似这样的东西就可以做到
val cols = Seq("US","UK","Can")
f.map(r => (r.getAs[Int]("id"),r.getValuesMap(cols).values.fold(0.0)(_+_)/cols.length)).toDF
这里你只需要一个标准的 SQL 像这样:
SELECT (US + UK + CAN) / 3 AS mean FROM df
可以直接用SqlContext.sql
或者用DSL表达
df.select(((col("UK") + col("US") + col("CAN")) / lit(3)).alias("mean"))
如果您有更多的列,您可以生成如下表达式:
from functools import reduce
from operator import add
from pyspark.sql.functions import col, lit
n = lit(len(df.columns) - 1.0)
rowMean = (reduce(add, (col(x) for x in df.columns[1:])) / n).alias("mean")
df.select(rowMean)
或
rowMean = (sum(col(x) for x in df.columns[1:]) / n).alias("mean")
df.select(rowMean)
最终它在 Scala 中的等价物:
df.select(df.columns
.drop(1)
.map(col)
.reduce(_ + _)
.divide(df.columns.size - 1)
.alias("mean"))
在更复杂的情况下,您可以使用 array
函数组合列并使用 UDF 计算统计信息:
import numpy as np
from pyspark.sql.functions import array, udf
from pyspark.sql.types import FloatType
combined = array(*(col(x) for x in df.columns[1:]))
median_udf = udf(lambda xs: float(np.median(xs)), FloatType())
df.select(median_udf(combined).alias("median"))
同样的操作用Scala表达API:
val combined = array(df.columns.drop(1).map(col).map(_.cast(DoubleType)): _*)
val median_udf = udf((xs: Seq[Double]) =>
breeze.stats.DescriptiveStats.percentile(xs, 0.5))
df.select(median_udf(combined).alias("median"))
自 Spark 2.4 以来,另一种方法是将值组合成数组并应用 aggregate
表达式。例如参见 [=20=].