按创建日期获取不同的行

Question

我正在使用这样的数据框：

DeviceNumber        | CreationDate       | Name
1001                | 1.1.2018           | Testdevice
1001                | 30.06.2019         | Device
1002                | 1.1.2019           | Lamp

我正在使用 databricks 和 pyspark 来执行 ETL 过程。我怎样才能减少数据框，使每个 "DeviceNumber" 只有一行，并且这将是具有最高 "CreationDate" 的行？在此示例中，我希望结果如下所示：

DeviceNumber        | CreationDate       | Name
1001                | 30.06.2019         | Device
1002                | 1.1.2019           | Lamp

Answer 1

您可以使用 PySpark 窗口功能：

from pyspark.sql.window import Window
from pyspark.sql import functions as f

# make sure that creation is a date data-type
df = df.withColumn('CreationDate', f.to_timestamp('CreationDate', format='dd.MM.yyyy'))

# partition on device and get a row number by (descending) date
win = Window.partitionBy('DeviceNumber').orderBy(f.col('CreationDate').desc())
df = df.withColumn('rownum', f.row_number().over(win))

# finally take the first row in each group
df.filter(df['rownum']==1).select('DeviceNumber', 'CreationDate', 'Name').show()

------------+------------+------+
|DeviceNumber|CreationDate|  Name|
+------------+------------+------+
|        1002|  2019-01-01|  Lamp|
|        1001|  2019-06-30|Device|
+------------+------------+------+

Answer 2

您可以使用 DeviceNumber 和它的 latest/max CreationDate 创建一个额外的数据帧。

import pyspark.sql.functions as psf

max_df = df\
    .groupBy('DeviceNumber')\
    .agg(psf.max('CreationDate').alias('max_CreationDate'))

然后加入 max_df 与原始数据框。

joining_condition = [ df.DeviceNumber == max_df.DeviceNumber, df.CreationDate == max_df.max_CreationDate ]

df.join(max_df,joining_condition,'left_semi').show()

left_semi 当您希望第二个数据框作为查找并且确实需要第二个数据框的任何列时，连接很有用。

按创建日期获取不同的行

Get distinct rows by creation date

dataframe

pyspark

databricks