Pandas: 在一个 Dataframe 中交换特定列值并计算其加权平均值

Question

存在以下数据框：

year	pop0	pop1	city0	city1
2019	20	40	Malibu	NYC
2018	8	60	Sydney	Dublin
2018	36	23	NYC	Malibu
2020	17	44	Malibu	NYC
2019	5	55	Sydney	Dublin

我想计算每个城市对的人口加权平均值作为新列。例如，马里布/纽约的 w_mean = (23+20+17)/(36+40+44) = 0.5.

以下是所需的输出：

year	pop0	pop1	city0	city1	w_mean
2018	23	36	Malibu	NYC	0.5
2019	20	40	Malibu	NYC	0.5
2020	17	44	Malibu	NYC	0.5
2018	8	60	Sydney	Dublin	0.113
2019	5	55	Sydney	Dublin	0.113

我已经按列对数据框进行了排序，但是我在将第 3 行从 NYC/Malibu 交换到 Malibu/NYC 时遇到了问题。除此之外，我只能计算每一行的 w_mean 而不是每一组。我尝试了 groupby().mean() 但没有得到任何有用的输出。

当前代码：

import pandas as pd

data = pd.DataFrame({'year': ["2019", "2018", "2018", "2020", "2019"], 'pop0': [20,8,36,17,5], 'pop1': [40,60,23,44,55], 'city0': ['Malibu','Sydney','NYC','Malibu','Sydney'], 'city1': ['NYC','Dublin','Malibu','NYC','Dublin']})

new = data.sort_values(by=['city0', 'city1'])
new['w_mean'] = new.apply(lambda row: row.pop0 / row.pop1, axis=1)
print(new)

Answer 1

你可以做的是创建一个(city, population)的创建元组，将连续的两个元组放入一个列表中，然后对其进行排序。通过对所有行执行此操作，您可以提取新的城市和人口（按城市字母顺序排序）。这可以按如下方式完成：

cities = [sorted([(e[0], e[1]), (e[2], e[3])]) for e in data[['city0','pop0','city1','pop1']].values]
data[['city0', 'pop0']] = [e[0] for e in cities]
data[['city1', 'pop1']] = [e[1] for e in cities]

结果数据帧：

    year  pop0  pop1  city0    city1
0   2019    20    40  Malibu     NYC
1   2018    60     8  Dublin  Sydney
2   2018    23    36  Malibu     NYC
3   2020    17    44  Malibu     NYC
4   2019    55     5  Dublin  Sydney

现在，mean_w 列可以使用 groupby and transform 创建两个总和，然后按如下方式除法：

data[['pop0_sum', 'pop1_sum']] = data.groupby(['city0', 'city1'])[['pop0', 'pop1']].transform('sum')
data['w_mean'] = data['pop0_sum'] / data['pop1_sum']

结果：

    year  pop0  pop1   city0   city1  pop0_sum  pop1_sum    w_mean
0   2019    20    40  Malibu     NYC        60       120  0.500000
1   2018    60     8  Dublin  Sydney       115        13  8.846154
2   2018    23    36  Malibu     NYC        60       120  0.500000
3   2020    17    44  Malibu     NYC        60       120  0.500000
4   2019    55     5  Dublin  Sydney       115        13  8.846154

现在可以删除任何额外的列。

如果生成的 w_mean 列应始终小于零，则最后的除法可以按如下方式完成：

data['w_mean'] = np.where(data['pop0_sum'] > data['pop1_sum'], data['pop1_sum'] / data['pop0_sum'], data['pop0_sum'] / data['pop1_sum'])

这将为马里布和纽约一对提供 0.5，为都柏林和悉尼提供 0.113043。

Pandas: 在一个 Dataframe 中交换特定列值并计算其加权平均值

Pandas: Swapping specific column values within one Dataframe and calculate its weighted averages

python

pandas

dataframe

sorting

split-apply-combine