Pandas：每组缺失值加权平均填充

Question

我有一个数据框，其中“值”列缺少值。我想在每个 'name' 组中按加权平均值填充缺失值。 post 关于如何在每个组中通过简单平均而不是加权平均来填充缺失值。非常感谢！

df = pd.DataFrame({'value': [1, np.nan, 3, 2, 3, 1, 3, np.nan, np.nan],'weight':[3,1,1,2,1,2,2,1,1], 'name': ['A','A', 'A','B','B','B', 'C','C','C']})


   name  value  weight
0    A    1.0       3
1    A    NaN       1
2    A    3.0       1
3    B    2.0       2
4    B    3.0       1
5    B    1.0       2
6    C    3.0       2
7    C    NaN       1
8    C    NaN       1

我想在每个 "name" 组中用加权值填写 "NaN"，即

   name  value  weight
0    A    1.0       3
1    A    1.5       1
2    A    3.0       1
3    B    2.0       2
4    B    3.0       1
5    B    1.0       2
6    C    3.0       2
7    C    3.0       1
8    C    3.0       1

Answer 1

您可以按name对数据框进行分组，并使用fillna方法用加权平均值填充缺失值，可以用np.average和weights参数计算：

df['value'] = (df.groupby('name', group_keys=False)
                 .apply(lambda g: g.value.fillna(np.average(g.dropna().value, weights=g.dropna().weight))))

df
#name   value   weight
#0  A    1.0    3
#1  A    1.5    1
#2  A    3.0    1
#3  B    2.0    2
#4  B    3.0    1
#5  B    1.0    2
#6  C    3.0    2
#7  C    3.0    1
#8  C    3.0    1

为了减少复杂性，定义一个 fillValue 函数：

import numpy as np
import pandas as pd

def fillValue(g):
    gNotNull = g.dropna()
    wtAvg = np.average(gNotNull.value, weights=gNotNull.weight)
    return g.value.fillna(wtAvg)

df['value'] = df.groupby('name', group_keys=False).apply(fillValue)

Pandas：每组缺失值加权平均填充

Pandas: filling missing values by weighted average in each group

python

weighted-average

missing-data

pandas