在pyspark数据框中的两个日期之间生成每月时间戳
Generating monthly timestamps between two dates in pyspark dataframe
我有一些带有 "date"
列的 DataFrame,我正在尝试生成一个新的 DataFrame,其中包含来自 "date"
列的最小日期和最大日期之间的所有月度时间戳。
其中一个解决方案如下:
month_step = 31*60*60*24
min_date, max_date = df.select(min_("date").cast("long"), max_("date").cast("long")).first()
df_ts = spark.range(
(min_date / month_step) * month_step,
((max_date / month_step) + 1) * month_step,
month_step
).select(col("id").cast("timestamp").alias("yearmonth"))
df_formatted_ts = df_ts.withColumn(
"yearmonth",
f.concat(f.year("yearmonth"), f.lit('-'), format_string("%02d", f.month("yearmonth")))
).select('yearmonth')
df_formatted_ts.orderBy(asc('yearmonth')).show(150, False)
问题是我 month_step
31 天,但实际上并不正确,因为有些月份有 30 天甚至 28 天。有可能以某种方式使其更精确吗?
如注:稍后我只需要年和月值所以我将忽略日期和时间。但无论如何,因为我在相当大的日期范围(2001 年到 2018 年之间)之间生成时间戳,所以时间戳会发生变化。
这就是为什么有时会跳过某些月份的原因。例如,此快照缺少 2010-02:
|2010-01 |
|2010-03 |
|2010-04 |
|2010-05 |
|2010-06 |
|2010-07 |
我查了一下,从 2001 年到 2018 年只跳过了 3 个月。
假设您有以下 DataFrame:
data = [("2000-01-01","2002-12-01")]
df = spark.createDataFrame(data, ["minDate", "maxDate"])
df.show()
#+----------+----------+
#| minDate| maxDate|
#+----------+----------+
#|2000-01-01|2002-12-01|
#+----------+----------+
您可以使用 minDate
和 maxDate
之间的所有月份添加列 date
,方法与 to .[=20= 相同]
只需将 pyspark.sql.functions.datediff
替换为 pyspark.sql.functions.months_between
,并使用 add_months
代替 date_add
:
import pyspark.sql.functions as f
df.withColumn("monthsDiff", f.months_between("maxDate", "minDate"))\
.withColumn("repeat", f.expr("split(repeat(',', monthsDiff), ',')"))\
.select("*", f.posexplode("repeat").alias("date", "val"))\
.withColumn("date", f.expr("add_months(minDate, date)"))\
.select('date')\
.show(n=50)
#+----------+
#| date|
#+----------+
#|2000-01-01|
#|2000-02-01|
#|2000-03-01|
#|2000-04-01|
# ...skipping some rows...
#|2002-10-01|
#|2002-11-01|
#|2002-12-01|
#+----------+
我有一些带有 "date"
列的 DataFrame,我正在尝试生成一个新的 DataFrame,其中包含来自 "date"
列的最小日期和最大日期之间的所有月度时间戳。
其中一个解决方案如下:
month_step = 31*60*60*24
min_date, max_date = df.select(min_("date").cast("long"), max_("date").cast("long")).first()
df_ts = spark.range(
(min_date / month_step) * month_step,
((max_date / month_step) + 1) * month_step,
month_step
).select(col("id").cast("timestamp").alias("yearmonth"))
df_formatted_ts = df_ts.withColumn(
"yearmonth",
f.concat(f.year("yearmonth"), f.lit('-'), format_string("%02d", f.month("yearmonth")))
).select('yearmonth')
df_formatted_ts.orderBy(asc('yearmonth')).show(150, False)
问题是我 month_step
31 天,但实际上并不正确,因为有些月份有 30 天甚至 28 天。有可能以某种方式使其更精确吗?
如注:稍后我只需要年和月值所以我将忽略日期和时间。但无论如何,因为我在相当大的日期范围(2001 年到 2018 年之间)之间生成时间戳,所以时间戳会发生变化。
这就是为什么有时会跳过某些月份的原因。例如,此快照缺少 2010-02:
|2010-01 |
|2010-03 |
|2010-04 |
|2010-05 |
|2010-06 |
|2010-07 |
我查了一下,从 2001 年到 2018 年只跳过了 3 个月。
假设您有以下 DataFrame:
data = [("2000-01-01","2002-12-01")]
df = spark.createDataFrame(data, ["minDate", "maxDate"])
df.show()
#+----------+----------+
#| minDate| maxDate|
#+----------+----------+
#|2000-01-01|2002-12-01|
#+----------+----------+
您可以使用 只需将 minDate
和 maxDate
之间的所有月份添加列 date
,方法与 pyspark.sql.functions.datediff
替换为 pyspark.sql.functions.months_between
,并使用 add_months
代替 date_add
:import pyspark.sql.functions as f
df.withColumn("monthsDiff", f.months_between("maxDate", "minDate"))\
.withColumn("repeat", f.expr("split(repeat(',', monthsDiff), ',')"))\
.select("*", f.posexplode("repeat").alias("date", "val"))\
.withColumn("date", f.expr("add_months(minDate, date)"))\
.select('date')\
.show(n=50)
#+----------+
#| date|
#+----------+
#|2000-01-01|
#|2000-02-01|
#|2000-03-01|
#|2000-04-01|
# ...skipping some rows...
#|2002-10-01|
#|2002-11-01|
#|2002-12-01|
#+----------+