Pandas 填充缺失的时间序列数据。仅当缺少一天以上时

Question

我有两个不同频率的时间序列。想使用较低频率的数据填充值。

这就是我的意思。希望这样清楚：

index = [pd.datetime(2022,1,10,1),
        pd.datetime(2022,1,10,2),
        pd.datetime(2022,1,12,7),
        pd.datetime(2022,1,14,12),]
df1 = pd.DataFrame([1,2,3,4],index=index)

2022-01-10 01:00:00 1
2022-01-10 02:00:00 2
2022-01-12 07:00:00 3
2022-01-14 12:00:00 4

index = pd.date_range(start=pd.datetime(2022,1,9),
                      end = pd.datetime(2022,1,15),
                      freq='D')
df2 = pd.DataFrame([n+99 for n in range(len(index))],index=index)

2022-01-09  99
2022-01-10  100
2022-01-11  101
2022-01-12  102
2022-01-13  103
2022-01-14  104
2022-01-15  105

只有在 df1 下缺少一天以上的情况下，最终的 df 才应填充值。所以结果应该是：

2022-01-09 00:00:00 99
2022-01-10 01:00:00 1
2022-01-10 02:00:00 2
2022-01-11 00:00:00 101
2022-01-12 07:00:00 3
2022-01-13 00:00:00 103
2022-01-14 12:00:00 4
2022-01-15 00:00:00 105

知道怎么做吗？

Answer 1

您可以过滤 df2 以仅保留新日期和 concat 至 df1:

import numpy as np

idx1 = pd.to_datetime(df1.index).date
idx2 = pd.to_datetime(df2.index).date

df3 = pd.concat([df1, df2[~np.isin(idx2, idx1)]]).sort_index()

输出：

                       0
2022-01-09 00:00:00   99
2022-01-10 01:00:00    1
2022-01-10 02:00:00    2
2022-01-11 00:00:00  101
2022-01-12 07:00:00    3
2022-01-13 00:00:00  103
2022-01-14 12:00:00    4
2022-01-15 00:00:00  105

Pandas 填充缺失的时间序列数据。仅当缺少一天以上时

Pandas fill missing Time-Series data. Only if more than one day is missing

python

time-series

dataframe

pandas