逐行重复值直到找到更改

Question

我有这个table:

date        id    value
12/20/19    123   0
12/21/19    123   0
12/22/19    123   1
12/23/19    123   0
12/24/19    123   0
12/25/19    123   0
12/26/19    123   0
12/27/19    123   0
12/28/19    123   -1
12/29/19    123   0
12/30/19    123   0
12/31/19    123   0
12/20/19    563   0
12/21/19    563   0
12/22/19    563   0
12/23/19    563   0
12/24/19    563   1
12/25/19    563   0
12/26/19    563   0

我需要这样的东西：

date        id    value
12/20/19    123   0
12/21/19    123   0
12/22/19    123   1
12/23/19    123   1
12/24/19    123   1
12/25/19    123   1
12/26/19    123   1
12/27/19    123   1
12/28/19    123   -1
12/29/19    123   -1
12/30/19    123   -1
12/31/19    123   -1
12/20/19    563   0
12/21/19    563   0
12/22/19    563   0
12/23/19    563   0
12/24/19    563   1
12/25/19    563   1
12/26/19    563   1

所以，我需要逐行重复这个值，直到有变化为止。请注意我必须按日期和 ID 分组。

有什么想法吗？谢谢！

Answer 1

您可以使用 Window Functions 查看基于组的下一行值并相应地更改数据

逐行重复值直到找到更改

repeat values row by row until find changes

pyspark

pyspark-sql

pyspark-dataframes