根据另一个数据框的日期范围进行过滤
Filtering based on date ranges from another dataframe
我有两个 pandas 数据框如下:
df1:
id date item
3 2015-11-23 B
3 2015-11-23 A
3 2016-05-11 C
3 2017-02-01 C
3 2018-07-12 E
4 2014-05-11 C
4 2015-02-01 C
4 2018-07-12 E
df2
id start end
3 2016-05-11 2017-08-30
4 2015-01-11 2017-08-22
我想削减 df1,这样我只保留属于 df2 中给出的日期范围内的 df1 项目:
id date item
3 2016-05-11 C
3 2017-02-01 C
4 2015-02-01 C
实际上,df1 和 df2 有数百万行,因此,我无法使用 for 循环等进行任何快速修复。我对通过id使用groupby有一个粗略的想法,但恐怕到目前为止我所有的尝试都失败了。
提前致谢!
基本方法是构建一个包含所有可能事件的数据框 id
。然后您可以过滤该事件是否在您的两个日期之间。
df3 = df1.merge(df2, how='inner', left_on='id', right_on='id')
df3[(df3['date'] <= df3['end']) & (df3['date'] >= df3['date'])]
我有两个 pandas 数据框如下:
df1:
id date item
3 2015-11-23 B
3 2015-11-23 A
3 2016-05-11 C
3 2017-02-01 C
3 2018-07-12 E
4 2014-05-11 C
4 2015-02-01 C
4 2018-07-12 E
df2
id start end
3 2016-05-11 2017-08-30
4 2015-01-11 2017-08-22
我想削减 df1,这样我只保留属于 df2 中给出的日期范围内的 df1 项目:
id date item
3 2016-05-11 C
3 2017-02-01 C
4 2015-02-01 C
实际上,df1 和 df2 有数百万行,因此,我无法使用 for 循环等进行任何快速修复。我对通过id使用groupby有一个粗略的想法,但恐怕到目前为止我所有的尝试都失败了。
提前致谢!
基本方法是构建一个包含所有可能事件的数据框 id
。然后您可以过滤该事件是否在您的两个日期之间。
df3 = df1.merge(df2, how='inner', left_on='id', right_on='id')
df3[(df3['date'] <= df3['end']) & (df3['date'] >= df3['date'])]