Pyspark pendant of Pandas' 滚动给定时间间隔

Question

Pyspark 中是否有此 Pandas 功能的附件？

pandasDataFrame.rolling('2s', min_periods=1).sum()

有问题的列有这样的时间戳

2013-01-01 09:00:00  0.0
2013-01-01 09:00:02  1.0
2013-01-01 09:00:05  3.0
:

:

Answer 1

使用spark中的window函数。

from pyspark.sql import functions as F
df.withColumn(
    "window",
    F.window("tmst", "2 secondes")
)

Pyspark pendant of Pandas' Rolling given time interval