使用 DateTimeIndex 仅在 pandas 数据帧中插入短间隙

Question

我正在寻找一种仅在具有 DateTimeIndex 的 Pandas DataFrame 中的短间隙内插值的方法。长间隙应保持原样。

df = pd.DataFrame(
    { "value": [ 1, np.nan, 3, np.nan, np.nan, 5, np.nan, 11, np.nan, 21, np.nan, 41 ] },
    index=pd.to_datetime( [ 
        "2021-01-01 00:00", "2021-01-01 00:05", "2021-01-01 00:10",
        "2021-01-01 00:11", "2021-01-01 00:13", "2021-01-01 00:14",
        "2021-01-01 00:15", "2021-01-01 01:30", "2021-01-01 03:00",
        "2021-01-01 04:00", "2021-01-01 05:45", "2021-01-01 06:45",
    ] )
)

                     value
2021-01-01 00:00:00    1.0
2021-01-01 00:05:00    NaN
2021-01-01 00:10:00    3.0
2021-01-01 00:11:00    NaN
2021-01-01 00:13:00    NaN
2021-01-01 00:14:00    5.0
2021-01-01 00:15:00    NaN
2021-01-01 01:30:00   11.0
2021-01-01 03:00:00    NaN
2021-01-01 04:00:00   21.0
2021-01-01 05:45:00    NaN
2021-01-01 06:45:00   41.0

想法是保留超过特定时间（在本例中为 >5 分钟）的间隙，但在更短的间隙内插入所有缺失值。

interpolate() 有一个 limit 参数限制要插入的缺失值的数量，但这不考虑行之间的时间增量，只考虑行数。

我希望结果是这样的：

                         value
2021-01-01 00:00:00   1.000000
2021-01-01 00:05:00   2.000000
2021-01-01 00:10:00   3.000000
2021-01-01 00:11:00   3.500000
2021-01-01 00:13:00   4.500000
2021-01-01 00:14:00   5.000000
2021-01-01 00:15:00        NaN
2021-01-01 01:30:00  11.000000
2021-01-01 03:00:00        NaN
2021-01-01 04:00:00  21.000000
2021-01-01 05:45:00        NaN
2021-01-01 06:45:00  41.000000

Answer 1

此解决方案填补了时间跨度小于指定值的值差距。填充值与条目在值间隙时间跨度内的位置（时间插值）成比例设置。 Julian 日期用于更容易的计算。

设置最大时间跨度间隙以填充时间插值。 5 分钟。

jd_max_gap_fill = 5/(60*24)

计算价值差距：

df['ffill'] = df['value'].ffill()
df['value_gap'] = df['value'].bfill() - df['value'].ffill()

获取条目的儒略日期：

df['jd'] = df.index.to_julian_date()

计算时间间隔：

df['jd_nan'] = np.where(~df['value'].isna(), df['jd'], np.nan)
df['jd_gap'] = df['jd_nan'].bfill() - df['jd_nan'].ffill()

在时间方面，计算我们在价值差距中有多远：

df['jd_start'] = df['jd_nan'].ffill() 
df['jd_prp'] = np.where(df['jd_gap'] != 0, (df['jd'] - df['jd_start'])/df['jd_gap'], 0)

计算时间插值：

df['filled_value'] = np.where(df['jd_gap'] <= jd_max_gap_fill, df['ffill'] + df['value_gap'] * df['jd_prp'], np.nan) 

df['filled_value']

2021-01-01 00:00:00     1.0
2021-01-01 00:05:00     NaN
2021-01-01 00:10:00     3.0
2021-01-01 00:11:00     3.5
2021-01-01 00:13:00     4.5
2021-01-01 00:14:00     5.0
2021-01-01 00:15:00     NaN
2021-01-01 01:30:00    11.0
2021-01-01 03:00:00     NaN
2021-01-01 04:00:00    21.0
2021-01-01 05:45:00     NaN
2021-01-01 06:45:00    41.0

请注意，我的输出与您的预期输出不同，因为第一个 NaN 有 10 分钟的间隔。

使用 DateTimeIndex 仅在 pandas 数据帧中插入短间隙

Interpolate only short gaps in pandas dataframe with DateTimeIndex

python

interpolation

missing-data

pandas

datetimeindex