按国家和年份分组的加权平均值

Question

我有一个代码可以调用联合国商品贸易数据库中的多个 API，这些 API 多年来一直在迭代。然后它将这些附加到一个包含所有记者和 1991 年至 2018 年年份的单一数据集中。然后我试图获得每个国家每年按净重加权的贸易价值的平均值。

import requests
import pandas as pd
import json
import numpy as np

base = "http://comtrade.un.org/api/get?"
maxrec = "50000"
item = "C"
freq = "A"
px="H0"
ps="all"
r="all"
p="0"
rg="2"
cc="AG2"
fmt="json"

comtrade = pd.DataFrame(columns=['Year', 'Reporter Code', 'Reporter', 'Commodity Code', 'Commodity', 'Trade Value (US$)'])

for year in range(1991,2018):
    print(r)
    ps="{}".format(year)
    url = base + "max=" + maxrec + "&" "type=" + item + "&" + "freq=" + freq + "&" + "px=" +px + "&" + "ps=" + str(ps) + "&" + "r="+ str(r) + "&" + "p=" + p + "&" + "rg=" +rg + "&" + "cc=" + cc + "&" + "fmt=" + fmt
#    print(url)
    t = requests.get(url)
    x = t.json()
    new = pd.DataFrame(x["dataset"])
    comtrade = comtrade.append(new)
group = comtrade.groupby([ 'rtCode', 'yr'])
finalvalue = group.apply(lambda x: np.average(x['TradeValue'], 
weights=x['NetWeight']))

这可能很明显，但问题似乎出在这里：

group = comtrade.groupby([ 'rtCode', 'yr'])
finalvalue = group.apply(lambda x: np.average(x['TradeValue'], weights=x['NetWeight']))

哪里出现错误：

TypeError: unsupported operand type(s) for +: 'NoneType' and 'NoneType'

Answer 1

正如您在 this example URL from your scraping 的以下描述中看到的那样，null 是作为 "None" 在您的数据框中输入的数据的主要特征。

您可以使用 "fillna" 从 Pandas 更改您的 None 类型。我在此示例中使用了 0，它可以与您的 groupby 一起使用，或者您可以根据他们的文档执行 "nan" 因为 "NA groups in GroupBy are automatically excluded,"。

from numpy import nan
comtrade =  comtrade.fillna(value=0, inplace=True)

按国家和年份分组的加权平均值

Weighted average grouped by country and year

python

pandas

numpy

average

weighted