如何使用 Python 在一段时间内对行进行分组
How to group rows within a time period using Python
我有一些交易 DataFrame。我想根据它们的 item 和 time 列值对这些交易进行分组：目标是对彼此相距 1 小时以内的项目进行分组。因此，我们在下一次观察时开始一个新组，该观察时间不在之前观察的一个小时内（参见 DataFrame B 中的 start time 列）。
这是数据：我想将 A 转换为 B。
A=
item time result
A 2016-04-18 13:08:25 Y
A 2016-04-18 13:57:05 N
A 2016-04-18 14:00:12 N
A 2016-04-18 23:45:50 Y
A 2016-04-20 16:53:48 Y
A 2016-04-20 17:11:47 N
B 2016-04-18 15:24:48 N
C 2016-04-23 13:20:44 N
C 2016-04-23 14:02:23 Y
B=
item start time end time Ys Ns total count
A 2016-04-18 13:08:25 2016-04-18 14:08:25 1 2 3
A 2016-04-18 23:45:50 2016-04-18 00:45:50 1 0 1
A 2016-04-20 16:53:48 2016-04-20 17:53:48 1 1 2
B 2016-04-18 15:24:48 2016-04-18 16:24:48 0 1 1
C 2016-04-23 13:20:44 2016-04-23 14:20:44 1 1 2
这是我所做的：
grouped = A.groupby('item')
A['end'] = (grouped['time'].transform(lambda grp: grp.min()+pd.Timedelta(hours=1)))
A2 = A.loc[(A['time'] <= A['end'])]
这样每天给我一组：第一笔交易后1小时内的交易。因此，我错过了同一天的其他交易，但与第一笔交易相隔超过 1 小时。我的斗争是如何获得这些团体。然后我可以使用 pd.crosstab 从 result 列中获取我想要的详细信息。
我的另一个想法是按item 和time 对A 进行排序，然后逐行进行。如果时间在前一行的 1 小时内，则添加到该组，否则，它创建一个新组。
1) 设置一个 window_end 列供以后与 .groupby() 一起使用，并定义 .get_windows() 以检查每个 item 组是否 row 适合当前 current 1hr window，或者什么都不做并保持初始化值。适用于所有 item 个组：
df['window_end'] = df.time + pd.Timedelta('1H')
def get_windows(data):
window_end = data.iloc[0].window_end
for index, row in data.iloc[1:].iterrows():
if window_end > row.time:
df.loc[index, 'window_end'] = window_end
else:
window_end = row.window_end
df.groupby('item').apply(lambda x: get_windows(x))
2) 使用windows和item与.groupby()和return.value_counts()作为transposedDataFrame，清理index，并添加 total:
df = df.groupby(['window_end', 'item']).result.apply(lambda x: x.value_counts().to_frame().T)
df = df.fillna(0).astype(int).reset_index(level=2, drop=True)
df['total'] = df.sum(axis=1)
获得：
N Y total
window_end item
2016-04-18 14:08:25 A A 2 1 3
2016-04-18 16:24:48 B B 1 0 1
2016-04-19 00:45:50 A A 0 1 1
2016-04-20 17:53:48 A A 1 1 2
2016-04-23 14:20:44 C C 1 1 2
受到 Stefan 解决方案的启发 (+1)，我找到了这个解决方案：
B = (A.groupby(['item', A.groupby('item')['time']
.diff().fillna(0).dt.total_seconds()//60//60
],
as_index=False)['time'].min()
)
B[['N','Y']] = (A.groupby(['item', A.groupby('item')['time']
.diff().fillna(0).dt.total_seconds()//60//60
])['result']
.apply(lambda x: x.value_counts().to_frame().T).fillna(0)
.reset_index()[['N','Y']]
)
输出：
In [178]: B
Out[178]:
item time N Y
0 A 2016-04-18 13:08:25 3.0 1.0
1 A 2016-04-18 23:45:50 0.0 1.0
2 A 2016-04-20 16:53:48 0.0 1.0
3 B 2016-04-18 15:24:48 1.0 0.0
4 C 2016-04-23 13:20:44 1.0 1.0
PS 想法是使用 A.groupby('item')['time'].diff().fillna(0).dt.total_seconds()//60//60 作为分组的一部分：
In [179]: A.groupby('item')['time'].diff().fillna(0).dt.total_seconds()//60//60
Out[179]:
0 0.0
1 0.0
2 0.0
3 9.0
4 41.0
5 0.0
6 0.0
7 0.0
8 0.0
Name: time, dtype: float64
设置
import pandas as pd
from StringIO import StringIO
text = """item time result
A 2016-04-18 13:08:25 Y
A 2016-04-18 13:57:05 N
A 2016-04-18 14:00:12 N
A 2016-04-18 23:45:50 Y
A 2016-04-20 16:53:48 Y
A 2016-04-20 17:11:47 N
B 2016-04-18 15:24:48 N
C 2016-04-23 13:20:44 N
C 2016-04-23 14:02:23 Y
"""
df = pd.read_csv(StringIO(text), delimiter="\s{2,}", parse_dates=[1], engine='python')
解决方案
我需要创建一些流程函数：
def set_time_group(df):
cur_time = pd.NaT
for index, row in df.iterrows():
if pd.isnull(cur_time):
cur_time = row.time
delta = row.time - cur_time
if delta.seconds / 3600. < 1:
df.loc[index, 'time_ref'] = cur_time
else:
df.loc[index, 'time_ref'] = row.time
cur_time = row.time
return df
def summarize_results(df):
df_ = df.groupby('result').count().iloc[:, 0]
df_.loc['total count'] = df_.sum()
return df_
dfg1 = df.groupby('item').apply(set_time_group)
dfg2 = dfg1.groupby(['item', 'time_ref']).apply(summarize_results)
df_f = dfg2.unstack().fillna(0)
示范[=15=]
print df_f
result N Y total count
item time_ref
A 2016-04-18 13:08:25 2.0 1.0 3.0
2016-04-18 23:45:50 0.0 1.0 1.0
2016-04-20 16:53:48 1.0 1.0 2.0
B 2016-04-18 15:24:48 1.0 0.0 1.0
C 2016-04-23 13:20:44 1.0 1.0 2.0
我有一些交易 DataFrame。我想根据它们的 item 和 time 列值对这些交易进行分组：目标是对彼此相距 1 小时以内的项目进行分组。因此，我们在下一次观察时开始一个新组，该观察时间不在之前观察的一个小时内（参见 DataFrame B 中的 start time 列）。
这是数据：我想将 A 转换为 B。
A=
item time result
A 2016-04-18 13:08:25 Y
A 2016-04-18 13:57:05 N
A 2016-04-18 14:00:12 N
A 2016-04-18 23:45:50 Y
A 2016-04-20 16:53:48 Y
A 2016-04-20 17:11:47 N
B 2016-04-18 15:24:48 N
C 2016-04-23 13:20:44 N
C 2016-04-23 14:02:23 Y
B=
item start time end time Ys Ns total count
A 2016-04-18 13:08:25 2016-04-18 14:08:25 1 2 3
A 2016-04-18 23:45:50 2016-04-18 00:45:50 1 0 1
A 2016-04-20 16:53:48 2016-04-20 17:53:48 1 1 2
B 2016-04-18 15:24:48 2016-04-18 16:24:48 0 1 1
C 2016-04-23 13:20:44 2016-04-23 14:20:44 1 1 2
这是我所做的：
grouped = A.groupby('item')
A['end'] = (grouped['time'].transform(lambda grp: grp.min()+pd.Timedelta(hours=1)))
A2 = A.loc[(A['time'] <= A['end'])]
这样每天给我一组：第一笔交易后1小时内的交易。因此，我错过了同一天的其他交易，但与第一笔交易相隔超过 1 小时。我的斗争是如何获得这些团体。然后我可以使用 pd.crosstab 从 result 列中获取我想要的详细信息。
我的另一个想法是按item 和time 对A 进行排序，然后逐行进行。如果时间在前一行的 1 小时内，则添加到该组，否则，它创建一个新组。
1) 设置一个 window_end 列供以后与 .groupby() 一起使用，并定义 .get_windows() 以检查每个 item 组是否 row 适合当前 current 1hr window，或者什么都不做并保持初始化值。适用于所有 item 个组：
df['window_end'] = df.time + pd.Timedelta('1H')
def get_windows(data):
window_end = data.iloc[0].window_end
for index, row in data.iloc[1:].iterrows():
if window_end > row.time:
df.loc[index, 'window_end'] = window_end
else:
window_end = row.window_end
df.groupby('item').apply(lambda x: get_windows(x))
2) 使用windows和item与.groupby()和return.value_counts()作为transposedDataFrame，清理index，并添加 total:
df = df.groupby(['window_end', 'item']).result.apply(lambda x: x.value_counts().to_frame().T)
df = df.fillna(0).astype(int).reset_index(level=2, drop=True)
df['total'] = df.sum(axis=1)
获得：
N Y total
window_end item
2016-04-18 14:08:25 A A 2 1 3
2016-04-18 16:24:48 B B 1 0 1
2016-04-19 00:45:50 A A 0 1 1
2016-04-20 17:53:48 A A 1 1 2
2016-04-23 14:20:44 C C 1 1 2
受到 Stefan 解决方案的启发 (+1)，我找到了这个解决方案：
B = (A.groupby(['item', A.groupby('item')['time']
.diff().fillna(0).dt.total_seconds()//60//60
],
as_index=False)['time'].min()
)
B[['N','Y']] = (A.groupby(['item', A.groupby('item')['time']
.diff().fillna(0).dt.total_seconds()//60//60
])['result']
.apply(lambda x: x.value_counts().to_frame().T).fillna(0)
.reset_index()[['N','Y']]
)
输出：
In [178]: B
Out[178]:
item time N Y
0 A 2016-04-18 13:08:25 3.0 1.0
1 A 2016-04-18 23:45:50 0.0 1.0
2 A 2016-04-20 16:53:48 0.0 1.0
3 B 2016-04-18 15:24:48 1.0 0.0
4 C 2016-04-23 13:20:44 1.0 1.0
PS 想法是使用 A.groupby('item')['time'].diff().fillna(0).dt.total_seconds()//60//60 作为分组的一部分：
In [179]: A.groupby('item')['time'].diff().fillna(0).dt.total_seconds()//60//60
Out[179]:
0 0.0
1 0.0
2 0.0
3 9.0
4 41.0
5 0.0
6 0.0
7 0.0
8 0.0
Name: time, dtype: float64
设置
import pandas as pd
from StringIO import StringIO
text = """item time result
A 2016-04-18 13:08:25 Y
A 2016-04-18 13:57:05 N
A 2016-04-18 14:00:12 N
A 2016-04-18 23:45:50 Y
A 2016-04-20 16:53:48 Y
A 2016-04-20 17:11:47 N
B 2016-04-18 15:24:48 N
C 2016-04-23 13:20:44 N
C 2016-04-23 14:02:23 Y
"""
df = pd.read_csv(StringIO(text), delimiter="\s{2,}", parse_dates=[1], engine='python')
解决方案
我需要创建一些流程函数：
def set_time_group(df):
cur_time = pd.NaT
for index, row in df.iterrows():
if pd.isnull(cur_time):
cur_time = row.time
delta = row.time - cur_time
if delta.seconds / 3600. < 1:
df.loc[index, 'time_ref'] = cur_time
else:
df.loc[index, 'time_ref'] = row.time
cur_time = row.time
return df
def summarize_results(df):
df_ = df.groupby('result').count().iloc[:, 0]
df_.loc['total count'] = df_.sum()
return df_
dfg1 = df.groupby('item').apply(set_time_group)
dfg2 = dfg1.groupby(['item', 'time_ref']).apply(summarize_results)
df_f = dfg2.unstack().fillna(0)
示范[=15=]
print df_f
result N Y total count
item time_ref
A 2016-04-18 13:08:25 2.0 1.0 3.0
2016-04-18 23:45:50 0.0 1.0 1.0
2016-04-20 16:53:48 1.0 1.0 2.0
B 2016-04-18 15:24:48 1.0 0.0 1.0
C 2016-04-23 13:20:44 1.0 1.0 2.0
print df_f
result N Y total count
item time_ref
A 2016-04-18 13:08:25 2.0 1.0 3.0
2016-04-18 23:45:50 0.0 1.0 1.0
2016-04-20 16:53:48 1.0 1.0 2.0
B 2016-04-18 15:24:48 1.0 0.0 1.0
C 2016-04-23 13:20:44 1.0 1.0 2.0