将长形式面板数据重塑为宽堆叠时间序列

Question

我有以下形式的面板数据：

+--------+----------+------------+----------+
|        | user_id  | order_date |  values  |
+--------+----------+------------+----------+
| 0      | 11039591 | 2017-01-01 | 3277.466 |
| 1      | 25717549 | 2017-01-01 | 587.553  |
| 2      | 13629086 | 2017-01-01 | 501.882  |
| 3      | 3022981  | 2017-01-01 | 1352.546 |
| 4      | 6084613  | 2017-01-01 | 441.151  |
| ...    | ...      | ...        | ...      |
| 186415 | 17955698 | 2020-05-01 | 146.868  |
| 186416 | 17384133 | 2020-05-01 | 191.461  |
| 186417 | 28593228 | 2020-05-01 | 207.201  |
| 186418 | 29065953 | 2020-05-01 | 430.401  |
| 186419 | 4470378  | 2020-05-01 | 87.086   |
+--------+----------+------------+----------+

作为 Pandas DataFrame 在 Python 中。

数据基本是堆叠的时间序列数据； table 包含大量时间序列，对应于特定时期内（2017/01 - 2020/05）内唯一用户的观察。该时期的覆盖水平在个人用户中可能非常低，这意味着如果您隔离个人时间序列，它们的长度都是不同的。

我想把这个长格式的面板数据转换成宽格式，这样每一列都是一天，每一行对应一个唯一的用户：

+----------+------------+------------+------------+------------+------------+
|          | 2017-01-01 | 2017-01-02 | 2017-01-03 | 2017-01-04 | 2017-01-05 |
+----------+------------+------------+------------+------------+------------+
| 11039591 | 3277.466   | 6482.722   | NaN        | NaN        | NaN        |
| 25717549 | 587.553    | NaN        | NaN        | NaN        | NaN        |
| 13629086 | 501.882    | NaN        | NaN        | NaN        | NaN        |
|  3022981 | 1352.546   | NaN        | NaN        | 557.728    | NaN        |
|  6084613 | 441.151    | NaN        | NaN        | NaN        | NaN        |
+----------+------------+------------+------------+------------+------------+

我正在努力使用 unstack/pivot 或其他 Pandas 内置插件来获得它，因为我将运行保存到：

ValueError: Index contains duplicate entries, cannot reshape

由于用户 ID 重复。

我目前的解决方案使用循环来索引各个时间序列并将它们连接在一起，因此它不可扩展 - 它只有 180k 行已经很慢了：

def time_series_stacker(df):

  ts = list()

  for user in df['user_id'].unique():

    values = df.loc[df['user_id']==user].drop('user_id', axis=1).T.values

    instance = pd.DataFrame(
        values[1,:].reshape(1,-1), 
        index=[user],
        columns=values[0,:].astype('datetime64[ns]')
    )

    ts.append(instance)

  return pd.concat(ts, axis=0)

有人可以帮忙更有效地重塑这个吗？

Answer 1

这是尝试的最佳时机pivot_table

    user_id  order_date    values
0  11039591  2017-01-01  3277.466
1  11039591  2017-01-02   587.553
2  13629086  2017-01-03   501.882
3  13629086  2017-01-02  1352.546
4   6084613  2017-01-01   441.151

df.pivot_table(index='user_id',columns='order_date',values='values')

输出

order_date  2017-01-01  2017-01-02  2017-01-03
user_id
6084613        441.151         NaN         NaN
11039591      3277.466     587.553         NaN
13629086           NaN    1352.546     501.882

将长形式面板数据重塑为宽堆叠时间序列

Reshape long form panel data to wide stacked time series

python

time-series

data-manipulation

reshape

pandas