如何在 Pandas 中用组模式替换缺失值？

Question

我按照中的方法用组模式替换缺失值，但是遇到了"IndexError: index out of bounds"。

 df['SIC'] = df.groupby('CIK').SIC.apply(lambda x: x.fillna(x.mode()[0]))

我猜这可能是因为某些组具有所有缺失值并且没有模式。有办法解决这个问题吗？谢谢！

Answer 1

mode 相当困难，因为确实没有任何商定的方式来处理领带。另外，它通常非常慢。这是 "fast" 的一种方式。我们将定义一个函数来计算每个组的众数，然后我们可以用 map 填充缺失值。我们不会运行解决缺失组的问题，但对于关系，我们任意选择排序时最先出现的模态值：

def fast_mode(df, key_cols, value_col):
    """ 
    Calculate a column mode, by group, ignoring null values. 

    Parameters
    ----------
    df : pandas.DataFrame
        DataFrame over which to calcualate the mode. 
    key_cols : list of str
        Columns to groupby for calculation of mode.
    value_col : str
        Column for which to calculate the mode. 

    Return
    ------ 
    pandas.DataFrame
        One row for the mode of value_col per key_cols group. If ties, 
        returns the one which is sorted first. 
    """
    return (df.groupby(key_cols + [value_col]).size() 
              .to_frame('counts').reset_index() 
              .sort_values('counts', ascending=False) 
              .drop_duplicates(subset=key_cols)).drop(columns='counts')

样本数据`df`:

   CIK  SIK
0    C  2.0
1    C  1.0
2    B  NaN
3    B  3.0
4    A  NaN
5    A  3.0
6    C  NaN
7    B  NaN
8    C  1.0
9    A  2.0
10   D  NaN
11   D  NaN
12   D  NaN

代码：

df.loc[df.SIK.isnull(), 'SIK'] = df.CIK.map(fast_mode(df, ['CIK'], 'SIK').set_index('CIK').SIK)

输出`df`:

   CIK  SIK
0    C  2.0
1    C  1.0
2    B  3.0
3    B  3.0
4    A  2.0
5    A  3.0
6    C  1.0
7    B  3.0
8    C  1.0
9    A  2.0
10   D  NaN
11   D  NaN
12   D  NaN

如何在 Pandas 中用组模式替换缺失值？

How to replace missing values with group mode in Pandas?

python

missing-data

pandas

imputation

样本数据`df`:

代码：

输出`df`:

如何在 Pandas 中用组模式替换缺失值？

How to replace missing values with group mode in Pandas?

python

missing-data

pandas

imputation

样本数据df:

代码：

输出df:

样本数据`df`:

输出`df`: