在 Pandas 数据框中查找不含零和 NaN 的最小值

Question

我有一个 pandas 数据框，我想找到没有零和 Nans 的最小值。我试图结合 numpy nonzero 和 nanmin，但它不起作用。

有人有想法吗？

Answer 1

使用numpy.where with numpy.nanmin:

df = pd.DataFrame({'B':[4,0,4,5,5,np.nan],
                   'C':[7,8,9,np.nan,2,3],
                   'D':[1,np.nan,5,7,1,0],
                   'E':[5,3,0,9,2,4]})

print (df)
     B    C    D  E
0  4.0  7.0  1.0  5
1  0.0  8.0  NaN  3
2  4.0  9.0  5.0  0
3  5.0  NaN  7.0  9
4  5.0  2.0  1.0  2
5  NaN  3.0  0.0  4

Numpy 解决方案：

arr = df.values
a = np.nanmin(np.where(arr == 0, np.nan, arr))
print (a)
1.0

Pandas 解决方案- NaN默认被移除：

a = df.mask(df==0).min().min()
print (a)
1.0

性能 - 每行添加一个 NaN 值：

np.random.seed(123)
df = pd.DataFrame(np.random.rand(1000,1000))
np.fill_diagonal(df.values, np.nan)
print (df)

#joe answer
In [399]: %timeit np.nanmin(df.replace(0, np.nan).values)
15.3 ms ± 425 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [400]: %%timeit 
     ...: arr = df.values
     ...: a = np.nanmin(np.where(arr == 0, np.nan, arr))
     ...: 
6.41 ms ± 427 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [401]: %%timeit
     ...: df.mask(df==0).min().min()
     ...: 
23.9 ms ± 727 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

Answer 2

如果你想要所有df中的最小值，你可以试试：

m = np.nanmin(df.replace(0, np.nan).values)

在 Pandas 数据框中查找不含零和 NaN 的最小值

Find Minimum without Zero and NaN in Pandas Dataframe

python

pandas

numpy

nan

zero