pandas DataFrame 中的操作

Question

我有一个相当大的（~5000 行）DataFrame，有许多变量，比如 2 ['max'，'min']，按 4 个参数排序，['Hs' , 'Tp', 'wd', 'seed']。它看起来像这样：

>>> data.head()
   Hs  Tp   wd  seed  max  min
0   1   9  165    22  225   18
1   1   9  195    16  190   18
2   2   5  165    43  193   12
3   2  10  180    15  141   22
4   1   6  180    17  219   18
>>> len(data)
4500

我只想保留前 2 个参数，并获得针对每个 'wd' 单独计算的所有 'seed' 的最大标准差。

最后，我得到了唯一的 (Hs, Tp) 对，每个变量都有最大标准差。类似于：

>>> stdev.head()
  Hs Tp       max       min
0  1  5  43.31321  4.597629
1  1  6  43.20004  4.640795
2  1  7  47.31507  4.569408
3  1  8  41.75081  4.651762
4  1  9  41.35818  4.285991
>>> len(stdev)
30

下面的代码可以满足我的要求，但由于我对 DataFrames 知之甚少，我想知道这些嵌套循环是否可以用不同的、更 DataFramy 的方式来完成 =)

import pandas as pd
import numpy as np

#
#data = pd.read_table('data.txt')
#
# don't worry too much about this ugly generator,
# it just emulates the format of my data...
total = 4500
data = pd.DataFrame()
data['Hs'] = np.random.randint(1,4,size=total)
data['Tp'] = np.random.randint(5,15,size=total)
data['wd'] = [[165, 180, 195][np.random.randint(0,3)] for _ in xrange(total)]
data['seed'] = np.random.randint(1,51,size=total)
data['max'] = np.random.randint(100,250,size=total)
data['min'] = np.random.randint(10,25,size=total)

# and here it starts. would the creators of pandas pull their hair out if they see this?
# can this be made better?
stdev = pd.DataFrame(columns = ['Hs', 'Tp', 'max', 'min'])
i=0
for hs in set(data['Hs']):
    data_Hs = data[data['Hs'] == hs]
    for tp in set(data_Hs['Tp']):
        data_tp = data_Hs[data_Hs['Tp'] == tp]
        stdev.loc[i] = [
               hs, 
               tp, 
               max([np.std(data_tp[data_tp['wd']==wd]['max']) for wd in set(data_tp['wd'])]), 
               max([np.std(data_tp[data_tp['wd']==wd]['min']) for wd in set(data_tp['wd'])])]
        i+=1

谢谢！

PS: 如果好奇，这是根据海浪变化的变量统计。 Hs 是波高，Tp 波周期，wd 波方向，种子代表不规则波列的不同实现，min 和 max 是特定暴露时间内的峰值或 my 变量。毕竟，通过标准偏差和平均值，我可以对数据进行一些分布，比如 Gumbel。

Answer 1

如果我没理解错的话，这可能是单行本：

data.groupby(['Hs', 'Tp', 'wd'])[['max', 'min']].std(ddof=0).max(level=[0, 1])

（如果需要，请在末尾添加 reset_index()）

pandas DataFrame 中的操作

operations in pandas DataFrame

python

statistics

dataframe

pandas