pandas 滚动 window 有效添加新行

Question

我有一个相当大的数据集（大约 500 万行），其中包含多个计算列，例如滞后（1 和 7）和滚动 windows（7、30、90，每个列都有多个值，例如平均值、标准差、最小值、最大值等）。现在我需要向 df 添加一行或多行，我想知道（重新）计算这些特征的最有效方法。重新计算整个 df 会花费太多时间，但我不能简单地将函数应用于新添加的行。

对于滞后这不是一个大问题，我可以简单地说，例如对于滞后 1，

df.iloc[-1, -2] = df.iloc[-2, -2]

这应该可以解决问题（滞后 7 也是如此），但是滚动 windows 呢？同样的方法行不通，我负担不起 (re)运行整个数据帧上的滚动 windows。我应该手工计算吗？还有其他方法吗？

Python 3.7.7 和 pandas 1.0.3

Answer 1

如果我正确地解释了这个问题，那么您有一个大型 DataFrame，其中包含一个或多个源数据列，然后是多个列，其中包含基于源列的 windowed 汇总统计信息。在将新行附加到源数据列后，您正在尝试更新 windowed 摘要列的底部，而没有 re-calculating 整个摘要列。

实现这一点的方式取决于很多因素，包括您是否使用居中 windows。但希望这能让你入门。

我将从你的问题的玩具版本开始，只有一个 source 列和两个 windowed 方法：

In [2]: df = pd.DataFrame({'source': np.arange(0, 20, 2)})

In [3]: for window in [3, 5]:
   ...:     df[f'rolling_mean_{window}'] = (
   ...:         df.source.rolling(window, center=True).mean())
   ...:

然后我们在底部追加一个新行：

In [4]: df = df.append(pd.Series({'source': 100}), ignore_index=True)

In [5]: df
Out[5]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0             2.0             NaN
2      4.0             4.0             4.0
3      6.0             6.0             6.0
4      8.0             8.0             8.0
5     10.0            10.0            10.0
6     12.0            12.0            12.0
7     14.0            14.0            14.0
8     16.0            16.0             NaN
9     18.0             NaN             NaN
10   100.0             NaN             NaN

我们必须更新的数据量取决于 window 的长度。例如，要更新 rolling_mean_3，我们需要使用最后五行的信息更新最后两行。为了安全起见，我们可以 re-calculate 最后 2*window 行加上您添加的行数：

In [6]: df.source.iloc[-(2*window+1):].rolling(window, center=True).mean()
Out[6]:
4           NaN
5     10.000000
6     12.000000
7     14.000000
8     16.000000
9     44.666667
10          NaN
Name: source, dtype: float64

第 5-10 行的数据正确。请注意，第 4 行在此版本中不正确（现在为 NaN），但我们可以使用此结果仅更新最后 [-(window+1):] 行。这是完整的解决方案：

In [7]: updated_rows = 1
In [8]: for window in [3, 5]:
   ...:     update_column_name = f'rolling_mean_{window}'
   ...:     update_column_index = df.columns.get_loc(update_column_name)
   ...:     df.iloc[-(window+updated_rows):, update_column_index] = (
   ...:         df.source
   ...:         .iloc[-(window*2+updated_rows):]
   ...:         .rolling(window, center=True).mean()
   ...:         .iloc[-(window+updated_rows):]
   ...:     )

In [9]: df
Out[9]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0        2.000000             NaN
2      4.0        4.000000             4.0
3      6.0        6.000000             6.0
4      8.0        8.000000             8.0
5     10.0       10.000000            10.0
6     12.0       12.000000            12.0
7     14.0       14.000000            14.0
8     16.0       16.000000            32.0
9     18.0       44.666667             NaN
10   100.0             NaN             NaN

现在已更新为具有正确计算的尾巴。

从技术上讲，对于居中滚动操作，您只需要更新最后 floor(window/2)+updated_rows 行，从数据帧的最后 window+updated_rows 行绘制。所以你可以这样做来真正优化事情。

如果您要生成不居中的滚动统计数据，方法应该相同，但不包括居中标志。

Answer 2

您只需要估计最后一组项目的平均值。见下文

updated_rows = 1
for window in [3, 5]:
    update_column_name = f'rolling_mean_{window}'
    update_column_index = df.columns.get_loc(update_column_name)
    df.iloc[-(updated_rows):, update_column_index] = df.source.iloc[-(window):].mean()

pandas 滚动 window 有效添加新行

pandas rolling window effective add new rows

append

rows

pandas

rolling-computation