离散化为 N 个类别，每个类别具有相同数量的观察值

Question

我有一个 1-5 范围内的非正态分布的 numpy 浮点数数组。我想找到 N-1 将这些值分成 N 个分箱的截止值，其中每个分箱都有相同数量的观察值。平均分配并不总是可能的，但尽可能接近将是完美的。它将用于 ~1000 次观察。

我在下面使用名为 discretize 的请求方法创建了一个示例。 bins 和 cutoffs 应该按递增顺序排列。

import numpy as np
import random

dat = np.hstack(([random.uniform(1,5) for i in range(10)], [random.uniform(4,5) for i in range(5)]))
print dat # [4.0310121   3.53599004  1.7687312   4.94552008  2.00898982  4.5596209, ...

discrete_dat, cutoffs = discretize(dat, bins=3)
print cutoffs # 2.2, 3.8
print discrete_dat # 3, 2, 1, 3, 1, 3, ...

Answer 1

好吧，我很快就破解了这个，所以它使用 np.array_split 这样对于大小不等的垃圾箱它不会呕吐，这首先对数据进行排序然后执行计算以拆分和 return 截止值：

import random
import numpy as np

dat = np.arange(1,13)/2.0

def discretize(data, bins):
    split = np.array_split(np.sort(data), bins)
    cutoffs = [x[-1] for x in split]
    cutoffs = cutoffs[:-1]
    discrete = np.digitize(data, cutoffs, right=True)
    return discrete, cutoffs

discrete_dat, cutoff = discretize(dat, 3)
print "dat: {}".format(dat)
print "discrete_dat: {}".format(discrete_dat)
print "cutoff: {}".format(cutoff)

>> dat: [ 0.5  1.   1.5  2.   2.5  3.   3.5  4.   4.5  5.   5.5  6. ]
>> discrete_dat: [0 0 0 0 1 1 1 1 2 2 2 2]
>> cutoff: [2.0, 4.0]

Answer 2

pandas.qcut 正是这样做的。

>>>pd.qcut(range(5), 4, labels=False)

array([0, 0, 1, 2, 3]) 3])

离散化为 N 个类别，每个类别具有相同数量的观察值

Discretization into N categories with equal amounts of observations in each

python

numpy

binning