按分位数对 Pandas 数据框进行排名
Rank Pandas dataframe by quantile
我有一个 Pandas 数据框，其中每一列代表一个单独的 属性，每一行都包含特定日期的属性值：
import pandas as pd
dfstr = \
''' AC BO C CCM CL CRD CT DA GC GF
2010-01-19 0.844135 -0.194530 -0.231046 0.245615 -0.581238 -0.593562 0.057288 0.655903 0.823997 0.221920
2010-01-20 -0.204845 -0.225876 0.835611 -0.594950 -0.607364 0.042603 0.639168 0.816524 0.210653 0.237833
2010-01-21 0.824852 -0.216449 -0.220136 0.234343 -0.611756 -0.624060 0.028295 0.622516 0.811741 0.201083'''
df = pd.read_csv(pd.compat.StringIO(dfstr), sep='\s+')
使用 rank 方法，我可以找到每个 属性 相对于特定日期的百分位排名：
df.rank(axis=1, pct=True)
输出：
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 1.0 0.4 0.3 0.7 0.2 0.1 0.5 0.8 0.9 0.6
2010-01-20 0.4 0.3 1.0 0.2 0.1 0.5 0.8 0.9 0.6 0.7
2010-01-21 1.0 0.4 0.3 0.7 0.2 0.1 0.5 0.8 0.9 0.6
我想得到的是每个 属性 的分位数（例如四分位数、五分位数、十分位数等）排名。例如，对于五分位数排名，我想要的输出是：
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3
我可能遗漏了一些东西，但似乎没有内置的方法可以使用 Pandas 进行这种分位数排名。获得所需输出的最简单方法是什么？
方法 1 mul & np.ceil
你的排名非常接近。只需将 .mul 乘以 5 即可得到所需的分位数，同时使用 np.ceil:
进行四舍五入
np.ceil(df.rank(axis=1, pct=True).mul(5))
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5.0 2.0 2.0 4.0 1.0 1.0 3.0 4.0 5.0 3.0
2010-01-20 2.0 2.0 5.0 1.0 1.0 3.0 4.0 5.0 3.0 4.0
2010-01-21 5.0 2.0 2.0 4.0 1.0 1.0 3.0 4.0 5.0 3.0
如果你想要整数使用astype:
np.ceil(df.rank(axis=1, pct=True).mul(5)).astype(int)
甚至更好
由于 pandas 版本 0.24.0 我们有 nullable integer 类型：Int64.
所以我们可以使用：
np.ceil(df.rank(axis=1, pct=True).mul(5)).astype('Int64')
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3
方法二scipy.stats.percentileofscore
d = df.apply(lambda x: [np.ceil(stats.percentileofscore(x, a, 'rank')*0.05) for a in x], axis=1).values
pd.DataFrame(data=np.concatenate(d).reshape(d.shape[0], len(d[0])),
columns=df.columns,
dtype='int',
index=df.index)
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3
我有一个 Pandas 数据框，其中每一列代表一个单独的 属性，每一行都包含特定日期的属性值：
import pandas as pd
dfstr = \
''' AC BO C CCM CL CRD CT DA GC GF
2010-01-19 0.844135 -0.194530 -0.231046 0.245615 -0.581238 -0.593562 0.057288 0.655903 0.823997 0.221920
2010-01-20 -0.204845 -0.225876 0.835611 -0.594950 -0.607364 0.042603 0.639168 0.816524 0.210653 0.237833
2010-01-21 0.824852 -0.216449 -0.220136 0.234343 -0.611756 -0.624060 0.028295 0.622516 0.811741 0.201083'''
df = pd.read_csv(pd.compat.StringIO(dfstr), sep='\s+')
使用 rank 方法，我可以找到每个 属性 相对于特定日期的百分位排名：
df.rank(axis=1, pct=True)
输出：
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 1.0 0.4 0.3 0.7 0.2 0.1 0.5 0.8 0.9 0.6
2010-01-20 0.4 0.3 1.0 0.2 0.1 0.5 0.8 0.9 0.6 0.7
2010-01-21 1.0 0.4 0.3 0.7 0.2 0.1 0.5 0.8 0.9 0.6
我想得到的是每个 属性 的分位数（例如四分位数、五分位数、十分位数等）排名。例如，对于五分位数排名，我想要的输出是：
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3
我可能遗漏了一些东西，但似乎没有内置的方法可以使用 Pandas 进行这种分位数排名。获得所需输出的最简单方法是什么？
方法 1 mul & np.ceil
你的排名非常接近。只需将 .mul 乘以 5 即可得到所需的分位数，同时使用 np.ceil:
np.ceil(df.rank(axis=1, pct=True).mul(5))
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5.0 2.0 2.0 4.0 1.0 1.0 3.0 4.0 5.0 3.0
2010-01-20 2.0 2.0 5.0 1.0 1.0 3.0 4.0 5.0 3.0 4.0
2010-01-21 5.0 2.0 2.0 4.0 1.0 1.0 3.0 4.0 5.0 3.0
如果你想要整数使用astype:
np.ceil(df.rank(axis=1, pct=True).mul(5)).astype(int)
甚至更好
由于 pandas 版本 0.24.0 我们有 nullable integer 类型：Int64.
所以我们可以使用：
np.ceil(df.rank(axis=1, pct=True).mul(5)).astype('Int64')
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3
方法二scipy.stats.percentileofscore
d = df.apply(lambda x: [np.ceil(stats.percentileofscore(x, a, 'rank')*0.05) for a in x], axis=1).values
pd.DataFrame(data=np.concatenate(d).reshape(d.shape[0], len(d[0])),
columns=df.columns,
dtype='int',
index=df.index)
Output
AC BO C CCM CL CRD CT DA GC GF
2010-01-19 5 2 2 4 1 1 3 4 5 3
2010-01-20 2 2 5 1 1 3 4 5 3 4
2010-01-21 5 2 2 4 1 1 3 4 5 3