如何填补以天数表示差异的两行之间的空白

Question

我有以下数据框，其中 diff_days 是一行与上一行之间的差异

+----------+--------+---------+
|   fx_date|  col_1 |diff_days|
+----------+--------+---------+
|2020-01-05|       A|     null|
|2020-01-09|       B|        4|
|2020-01-11|       C|        2|
+----------+--------+---------+

我想要一个数据框添加缺少日期的行和与第一行相关的 col_1 的复制值。应该是：

+----------+--------+
|   fx_date|  col_1 |
+----------+--------+
|2020-01-05|       A|
|2020-01-06|       A|
|2020-01-07|       A|
|2020-01-08|       A|
|2020-01-09|       B|
|2020-01-10|       B|
|2021-01-11|       C|
+----------+--------+

Answer 1

您可以使用 lag + sequence 函数生成前一行日期和当前行日期之间的日期，然后 explode 列表如下：

from pyspark.sql import functions as F, Window

df1 = df.withColumn(
    "previous_dt",
    F.date_add(F.lag("fx_date", 1).over(Window.orderBy("fx_date")), 1)
).withColumn(
    "fx_date",
    F.expr("sequence(coalesce(previous_dt, fx_date), fx_date, interval 1 day)")
).withColumn(
    "fx_date",
    F.explode("fx_date")
).drop("previous_dt", "diff_days")

df1.show()
#+----------+-----+
#|   fx_date|col_1|
#+----------+-----+
#|2020-01-05|    A|
#|2020-01-06|    B|
#|2020-01-07|    B|
#|2020-01-08|    B|
#|2020-01-09|    B|
#|2020-01-10|    C|
#|2020-01-11|    C|
#+----------+-----+

如何填补以天数表示差异的两行之间的空白

How to fill gaps between two rows having the difference expressed in days

python

dataframe

apache-spark

pyspark

apache-spark-sql