Pandas groupby-median 函数用随机数填充空箱

Question

我正在学习 Python Pandas 的不同方面，我无意中发现了 groupby-objects 的中值函数在用于合并数据时的一些奇怪行为。

示例代码：

import pandas as pd

d = pd.DataFrame([1,2,5,6,9,3,6,5,9,7,11,36,4,7,8,25,8,24,23])

b = [0,5,10,15,20,25,30,35,40,45,50,55]

print d.groupby(pd.cut(d[0],b)).count()

print d.groupby(pd.cut(d[0],b)).mean()

print d.groupby(pd.cut(d[0],b)).median()

计数输出：

(0, 5]    6
(5, 10]   8
(10, 15]  1
(15, 20]  0
(20, 25]  3
(25, 30]  0
(30, 35]  0
(35, 40]  1
(40, 45]  0
(45, 50]  0
(50, 55]  0

均值输出：

(0, 5]     3.333333
(5, 10]    7.500000
(10, 15]  11.000000
(15, 20]        NaN
(20, 25]  24.000000
(25, 30]        NaN
(30, 35]        NaN
(35, 40]  36.000000
(40, 45]        NaN
(45, 50]        NaN
(50, 55]        NaN

中位数的输出：

(0, 5]     3.5
(5, 10]    7.5
(10, 15]  11.0
(15, 20]  18.0
(20, 25]  24.0
(25, 30]  30.5
(30, 35]  30.5
(35, 40]  36.0
(40, 45]  18.0
(45, 50]  18.0
(50, 55]  18.0

所有空箱子都装满了数字 18 和 30.5，这在这里没有实际意义。

当我改变原始列表中的一个数字时，最后三个数字随机变化，然后我得到这样的输出：

(0, 5]     3.500000e+00
(5, 10]    7.500000e+00
(10, 15]   1.100000e+01
(15, 20]   1.800000e+01
(20, 25]   2.450000e+01
(25, 30]   3.050000e+01
(30, 35]   3.050000e+01
(35, 40]   3.600000e+01
(40, 45]  3.814316e+228
(45, 50]  3.814316e+228
(50, 55]  3.814316e+228

更改列表中的另一个数字会再次输出末尾的数字 18。

这只是一个错误吗？

这种行为是否有正当理由？

我是不是做错了或解释错了什么？

现在我需要使用均值函数的 NaN 输出来过滤掉空的中值区间，但我认为中值应该像对待均值一样对待空值。

Answer 1

我很确定这是一个错误：

考虑：

gb = d.groupby(pd.cut(d[0],b))

gb.median()

但是：

gb.get_group('(0, 5]').median()

0    3.5
dtype: float64

和：

gb.get_group('(15, 20]').median()

KeyError                                  Traceback (most recent call last)
<ipython-input-314-e1f4657d9a2d> in <module>()
----> 1 gb.get_group('(15, 20]').median()

/Users/me/anaconda/lib/python2.7/site-packages/pandas/core/groupby.pyc in get_group(self, name, obj)
    585         inds = self._get_index(name)
    586         if not len(inds):
--> 587             raise KeyError(name)
    588 
    589         return obj.take(inds, axis=self.axis, convert=False)

KeyError: '(15, 20]'

当组甚至不存在时，它在 groupby 对象上计算 median。

Answer 2

我将此问题报告为错误，它已添加到 0.19.0 里程碑中：

https://github.com/pydata/pandas/issues/13629

Pandas groupby-median 函数用随机数填充空箱

Pandas groupby-median function fills empty bins with random numbers

python

pandas

median