从数据框中提取缺失的日期时间索引 date/hour

Question

我有一个带有日期时间索引的数据框，如格式所示，原始数据应该包含一年中每小时的记录（每天有 24 条记录）。一些 hours/days 丢失并且未记录在数据中。

如何获取所有缺失的 datetimeindex 小时的列表。

例子：01 小时不见了，如何找到并打印出 2012-10-02 01:00:00

我目前可以获取缺失的天数，但无法计算小时数。

    missing_day = pd.date_range(start = mdf.index[0], end = mdf.index[-1]).difference(mdf.index)
missing_day = missing_day.strftime('%Y%m%d')
missing = pd.Series(missing_day).array
for i in missing:
    print(i)
    for x in range(24):
        x = str(x)
        m = i + x
        m = datetime.strptime(m,'%Y%m%d%H')
        print(m)

输出（每个缺失的天打印 24 小时）

列出所有缺失的日期时间的最佳方法是什么。

Answer 1

使用集合谓词查找缺失的索引：

out = pd.date_range(df.index.min(), df.index.max(), freq='H').difference(df.index)
print(out)

# Output
DatetimeIndex(['2022-01-01 06:00:00', '2022-01-01 12:00:00',
               '2022-01-01 14:00:00', '2022-01-01 16:00:00'],
              dtype='datetime64[ns]', freq=None)

设置：

df = pd.DataFrame({'A':[0]}, index=pd.date_range('2022-01-01', freq='H', periods=24))
df = df.sample(n=20).sort_index()
print(df)

# Output
                     A
2022-01-01 00:00:00  0
2022-01-01 01:00:00  0
2022-01-01 02:00:00  0
2022-01-01 03:00:00  0
2022-01-01 04:00:00  0
2022-01-01 05:00:00  0
2022-01-01 07:00:00  0
2022-01-01 08:00:00  0
2022-01-01 09:00:00  0
2022-01-01 10:00:00  0
2022-01-01 11:00:00  0
2022-01-01 13:00:00  0
2022-01-01 15:00:00  0
2022-01-01 17:00:00  0
2022-01-01 18:00:00  0
2022-01-01 19:00:00  0
2022-01-01 20:00:00  0
2022-01-01 21:00:00  0
2022-01-01 22:00:00  0
2022-01-01 23:00:00  0

从数据框中提取缺失的日期时间索引 date/hour

Extracting missing datetimeindex date/hour from dataframe

python

time-series

dataframe

pandas