如何在 pyspark 中将一列除以其他几个子列？

Question

我需要将以下 python 代码转换为 pyspark。

df['GRN_ratio'] = df['GRN Quantity']/ df.groupby(['File No','Delivery Note Number'])['GRN 
                  Quantity'].transform(sum)

为此，我正在使用以下 Pyspark code.But 我没有得到预期的输出。

df.groupby(['File No','Delivery Note Number']).agg(F.sum('GRN Quantity').alias('GRN_Sum')))
           .withColumn("GRN_ratio", F.col("GRN Quantity")/F.col("GRN_Sum"))

Answer 1

您可以使用 window 函数代替分组依据：

from pyspark.sql import functions as F, Window

df2 = df.withColumn('GRN_ratio',
    F.col('GRN Quantity') / 
    F.sum('GRN Quantity').over(Window.partitionBy('File No','Delivery Note Number'))
)

如何在 pyspark 中将一列除以其他几个子列？

How to divide a column by few other sub columns in pyspark?

python

group-by

aggregate-functions

apache-spark

pyspark