sklearn error ValueError: Input contains NaN, infinity or a value too large for dtype('float64')
sklearn error ValueError: Input contains NaN, infinity or a value too large for dtype('float64')
我正在使用 sklearn，但亲和力传播有问题。我建立了一个输入矩阵，但不断收到以下错误。
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
我有运行
np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True
我试过使用
mat[np.isfinite(mat) == True] = 0
删除无限值，但这也不起作用。
我该怎么做才能摆脱矩阵中的无限值，以便我可以使用亲和力传播算法？
我正在使用 anaconda 和 python 2.7.9.
这可能发生在 scikit 内部，这取决于您在做什么。我建议阅读您正在使用的功能的文档。您可能正在使用一个取决于例如在您的矩阵上是正定的并且不满足该标准。
编辑：我怎么会错过：
np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True
显然是错误的。正确的是：
np.any(np.isnan(mat))
和
np.all(np.isfinite(mat))
您想检查任何元素是否为 NaN，而不是 any 函数的 return 值是否为数字...
我的输入数组的维度是倾斜的，因为我的输入 csv 有空格。
这是失败的检查：
这表示
def _assert_all_finite(X):
"""Like assert_all_finite, but only for ndarray."""
X = np.asanyarray(X)
# First try an O(n) time, O(1) space solution for the common case that
# everything is finite; fall back to O(n) space np.isfinite to prevent
# false positives from overflow in sum method.
if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
and not np.isfinite(X).all()):
raise ValueError("Input contains NaN, infinity"
" or a value too large for %r." % X.dtype)
因此请确保您的输入中包含非 NaN 值。所有这些值实际上都是浮点值。 None 的值也应该是 Inf。
我有同样的错误，在我的例子中，X 和 y 是数据帧，所以我必须先将它们转换为矩阵：
X = X.values.astype(np.float)
y = y.values.astype(np.float)
编辑：最初建议的 X.as_matrix() 是 Deprecated
有了这个版本 python 3:
/opt/anaconda3/bin/python --version
Python 3.6.0 :: Anaconda 4.3.0 (64-bit)
查看错误详情，找到导致失败的代码行：
/opt/anaconda3/lib/python3.6/site-packages/sklearn/utils/validation.py in _assert_all_finite(X)
56 and not np.isfinite(X).all()):
57 raise ValueError("Input contains NaN, infinity"
---> 58 " or a value too large for %r." % X.dtype)
59
60
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
由此，我能够提取正确的方法来使用相同的测试来测试我的数据发生了什么，但错误消息给出了失败：np.isfinite(X)
然后通过一个快速而肮脏的循环，我发现我的数据确实包含 nans:
print(p[:,0].shape)
index = 0
for i in p[:,0]:
if not np.isfinite(i):
print(index, i)
index +=1
(367340,)
4454 nan
6940 nan
10868 nan
12753 nan
14855 nan
15678 nan
24954 nan
30251 nan
31108 nan
51455 nan
59055 nan
...
现在我要做的就是删除这些索引处的值。
这是我的函数（基于 this），用于清理 nan、Inf 和缺失单元格（对于偏斜数据集）的数据集：
import pandas as pd
import numpy as np
def clean_dataset(df):
assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
df.dropna(inplace=True)
indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(1)
return df[indices_to_keep].astype(np.float64)
我在使用 sklearn 和 pandas 时收到相同的错误消息。我的解决方案是在 运行 任何 sklearn 代码之前重置我的数据帧 df 的索引：
df = df.reset_index()
我在删除 df 中的一些条目时多次遇到这个问题，例如
df = df[df.label=='desired_one']
尝试 select 行子集后出现错误：
df = df.reindex(index=my_index)
原来 my_index 包含 df.index 中不包含的值，因此 reindex 函数插入了一些新行并用 nan.
填充它们
我遇到了同样的错误。它在进行任何替换、替换等之前与 df.fillna(-99999, inplace=True) 一起工作
在我的例子中，问题是许多 scikit 函数 return numpy 数组，它们没有 pandas 索引。所以当我使用那些 numpy 数组构建新的 DataFrame 然后我尝试将它们与原始数据混合时，存在索引不匹配。
尝试
mat.sum()
如果您的数据总和为无穷大（大于最大浮点值 3.402823e+38），您将收到该错误。
从 scikit 源代码中查看 validation.py 中的 _assert_all_finite 函数：
if is_float and np.isfinite(X.sum()):
pass
elif is_float:
msg_err = "Input contains {} or a value too large for {!r}."
if (allow_nan and np.isinf(X).any() or
not allow_nan and not np.isfinite(X).all()):
type_err = 'infinity' if allow_nan else 'NaN, infinity'
# print(X.sum())
raise ValueError(msg_err.format(type_err, X.dtype))
在大多数情况下，摆脱无限值和空值可以解决这个问题。
去掉无限值。
df.replace([np.inf, -np.inf], np.nan, inplace=True)
按照您喜欢的方式删除空值，特定值，例如 999，均值，或创建您自己的函数来估算缺失值
df.fillna(999, inplace=True)
删除所有无限值：
（并用该列的最小值或最大值替换）
import numpy as np
# generate example matrix
matrix = np.random.rand(5,5)
matrix[0,:] = np.inf
matrix[2,:] = -np.inf
>>> matrix
array([[ inf, inf, inf, inf, inf],
[0.87362809, 0.28321499, 0.7427659 , 0.37570528, 0.35783064],
[ -inf, -inf, -inf, -inf, -inf],
[0.72877665, 0.06580068, 0.95222639, 0.00833664, 0.68779902],
[0.90272002, 0.37357483, 0.92952479, 0.072105 , 0.20837798]])
# find min and max values for each column, ignoring nan, -inf, and inf
mins = [np.nanmin(matrix[:, i][matrix[:, i] != -np.inf]) for i in range(matrix.shape[1])]
maxs = [np.nanmax(matrix[:, i][matrix[:, i] != np.inf]) for i in range(matrix.shape[1])]
# go through matrix one column at a time and replace + and -infinity
# with the max or min for that column
for i in range(matrix.shape[1]):
matrix[:, i][matrix[:, i] == -np.inf] = mins[i]
matrix[:, i][matrix[:, i] == np.inf] = maxs[i]
>>> matrix
array([[0.90272002, 0.37357483, 0.95222639, 0.37570528, 0.68779902],
[0.87362809, 0.28321499, 0.7427659 , 0.37570528, 0.35783064],
[0.72877665, 0.06580068, 0.7427659 , 0.00833664, 0.20837798],
[0.72877665, 0.06580068, 0.95222639, 0.00833664, 0.68779902],
[0.90272002, 0.37357483, 0.92952479, 0.072105 , 0.20837798]])
我想提出一个适合我的 numpy 解决方案。行
from numpy import inf
inputArray[inputArray == inf] = np.finfo(np.float64).max
用最大 float64 数替换 numpy 数组的所有无限值。
None 这里的答案对我有用。这就是有效的方法。
Test_y = np.nan_to_num(Test_y)
它将无限值替换为高有限值，将 nan 值替换为数字
dataset = dataset.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
这对我有用
如果您是 运行 估算师，可能是因为您的学习率太高了。我不小心将错误的数组传递给了网格搜索，最终以 500 的学习率进行了训练，我认为这会导致训练过程出现问题。
基本上，不仅您的输入必须全部有效，中间数据也必须有效。
问题似乎发生在 DecisionTreeClassifier 输入检查中，尝试
X_train = X_train.replace((np.inf, -np.inf, np.nan), 0).reset_index(drop=True)
我遇到了同样的问题，在我的例子中，答案很简单，我的 CSV 中有一个单元格没有值（“x,y,z,”）。为我固定一个默认值。
使用 isneginf 可能会有帮助。
http://docs.scipy.org/doc/numpy/reference/generated/numpy.isneginf.html#numpy.isneginf
x[numpy.isneginf(x)] = 0 #0 is the value you want to replace with
注意：此解决方案仅适用于您有意识地希望在数据集中保留 NaN 个条目的情况。
当我使用一些可以优雅地处理 NaN 数据的 scikit-learn functionality (in my case: GridSearchCV). Under the hood I was using an xgboost XGBClassifier 时，我发生了这个错误。但是，GridSearchCV 正在使用 sklearn.utils.validation 模块，该模块通过调用 _assert_all_finite 函数强制输入数据中缺少缺失数据。这最终导致了一个错误：
ValueError: Input contains NaN, infinity or a value too large for dtype('float64')
旁注：_assert_all_finite 接受 allow_nan 参数，如果设置为 True，则不会引起问题。但是，scikit-learnAPI不允许我们控制这个参数。
解决方案
我的解决方案是使用 patch 模块使 _assert_all_finite 函数静音，这样它就不会 raise ValueError。这是一个片段
import sklearn
with mock.patch("sklearn.utils.validation._assert_all_finite"):
# your code that raises ValueError
这将用虚拟模拟函数替换 _assert_all_finite，因此它不会被执行。
请注意，修补不是推荐的做法，可能会导致不可预知的行为！
编辑：
This 合并请求应该可以解决该问题（尽管截至 2022 年 1 月尚未发布修复程序）
我发现在对新列调用 pct_change 后，其中一行中存在 nan。我使用以下代码删除了 nan 行
df = df.replace([np.inf, -np.inf], np.nan)
df = df.dropna()
df = df.reset_index()
噗！！在我的例子中，问题是关于 NaN 值...
您可以使用此函数列出包含 NaN 的列
your_data.isnull().sum()
然后您可以将这些 NAN 值填充到您的数据集文件中。
这是有关如何“用零替换 NaN 并用有限大数替换无穷大”的代码。
your_data[:] = np.nan_to_num(your_data)
经过长时间处理这个问题后，我意识到这是因为在训练和测试集的拆分中，有一些数据列对于所有数据行都是相同的。那么某些算法中的一些计算可能会导致无穷大的结果。如果您使用的数据在某种程度上使关闭的行更可能相似，那么打乱数据会有所帮助。这是 scikit 的一个错误。我正在使用版本 0.23.2.
如果您碰巧使用了 "kc_house_data.csv" 数据集（一些评论者和许多 data-science 新手似乎都在使用它，因为它在很多地方都有展示流行课程 material)，数据有误，错误的真正来源。
到 2022 年修复它：
- 删除 csv 文件中的最后（空）行
- 有两行包含一个空数据值“x,x,x,x” - 要修复它，不要删除逗号，而是添加一个随机整数值，如 2000，所以它看起来像这个“x,x,2000,x,x”
不要忘记在您的项目中保存并重新加载。
所有其他答案都是有帮助和正确的，但在这种情况下不是：
如果使用 kc_house_data.csv 需要修复文件中的数据, 没有别的帮助，空数据字段会随机移动其他数据并产生难以追踪到源头的奇怪错误！
我正在使用 sklearn，但亲和力传播有问题。我建立了一个输入矩阵，但不断收到以下错误。
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
我有运行
np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True
我试过使用
mat[np.isfinite(mat) == True] = 0
删除无限值，但这也不起作用。 我该怎么做才能摆脱矩阵中的无限值，以便我可以使用亲和力传播算法？
我正在使用 anaconda 和 python 2.7.9.
这可能发生在 scikit 内部，这取决于您在做什么。我建议阅读您正在使用的功能的文档。您可能正在使用一个取决于例如在您的矩阵上是正定的并且不满足该标准。
编辑：我怎么会错过：
np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True
显然是错误的。正确的是：
np.any(np.isnan(mat))
和
np.all(np.isfinite(mat))
您想检查任何元素是否为 NaN，而不是 any 函数的 return 值是否为数字...
我的输入数组的维度是倾斜的，因为我的输入 csv 有空格。
这是失败的检查：
这表示
def _assert_all_finite(X):
"""Like assert_all_finite, but only for ndarray."""
X = np.asanyarray(X)
# First try an O(n) time, O(1) space solution for the common case that
# everything is finite; fall back to O(n) space np.isfinite to prevent
# false positives from overflow in sum method.
if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
and not np.isfinite(X).all()):
raise ValueError("Input contains NaN, infinity"
" or a value too large for %r." % X.dtype)
因此请确保您的输入中包含非 NaN 值。所有这些值实际上都是浮点值。 None 的值也应该是 Inf。
我有同样的错误，在我的例子中，X 和 y 是数据帧，所以我必须先将它们转换为矩阵：
X = X.values.astype(np.float)
y = y.values.astype(np.float)
编辑：最初建议的 X.as_matrix() 是 Deprecated
有了这个版本 python 3:
/opt/anaconda3/bin/python --version
Python 3.6.0 :: Anaconda 4.3.0 (64-bit)
查看错误详情，找到导致失败的代码行：
/opt/anaconda3/lib/python3.6/site-packages/sklearn/utils/validation.py in _assert_all_finite(X)
56 and not np.isfinite(X).all()):
57 raise ValueError("Input contains NaN, infinity"
---> 58 " or a value too large for %r." % X.dtype)
59
60
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
由此，我能够提取正确的方法来使用相同的测试来测试我的数据发生了什么，但错误消息给出了失败：np.isfinite(X)
然后通过一个快速而肮脏的循环，我发现我的数据确实包含 nans:
print(p[:,0].shape)
index = 0
for i in p[:,0]:
if not np.isfinite(i):
print(index, i)
index +=1
(367340,)
4454 nan
6940 nan
10868 nan
12753 nan
14855 nan
15678 nan
24954 nan
30251 nan
31108 nan
51455 nan
59055 nan
...
现在我要做的就是删除这些索引处的值。
这是我的函数（基于 this），用于清理 nan、Inf 和缺失单元格（对于偏斜数据集）的数据集：
import pandas as pd
import numpy as np
def clean_dataset(df):
assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
df.dropna(inplace=True)
indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(1)
return df[indices_to_keep].astype(np.float64)
我在使用 sklearn 和 pandas 时收到相同的错误消息。我的解决方案是在 运行 任何 sklearn 代码之前重置我的数据帧 df 的索引：
df = df.reset_index()
我在删除 df 中的一些条目时多次遇到这个问题，例如
df = df[df.label=='desired_one']
尝试 select 行子集后出现错误：
df = df.reindex(index=my_index)
原来 my_index 包含 df.index 中不包含的值，因此 reindex 函数插入了一些新行并用 nan.
我遇到了同样的错误。它在进行任何替换、替换等之前与 df.fillna(-99999, inplace=True) 一起工作
在我的例子中，问题是许多 scikit 函数 return numpy 数组，它们没有 pandas 索引。所以当我使用那些 numpy 数组构建新的 DataFrame 然后我尝试将它们与原始数据混合时，存在索引不匹配。
尝试
mat.sum()
如果您的数据总和为无穷大（大于最大浮点值 3.402823e+38），您将收到该错误。
从 scikit 源代码中查看 validation.py 中的 _assert_all_finite 函数：
if is_float and np.isfinite(X.sum()):
pass
elif is_float:
msg_err = "Input contains {} or a value too large for {!r}."
if (allow_nan and np.isinf(X).any() or
not allow_nan and not np.isfinite(X).all()):
type_err = 'infinity' if allow_nan else 'NaN, infinity'
# print(X.sum())
raise ValueError(msg_err.format(type_err, X.dtype))
在大多数情况下，摆脱无限值和空值可以解决这个问题。
去掉无限值。
df.replace([np.inf, -np.inf], np.nan, inplace=True)
按照您喜欢的方式删除空值，特定值，例如 999，均值，或创建您自己的函数来估算缺失值
df.fillna(999, inplace=True)
删除所有无限值：
（并用该列的最小值或最大值替换）
import numpy as np
# generate example matrix
matrix = np.random.rand(5,5)
matrix[0,:] = np.inf
matrix[2,:] = -np.inf
>>> matrix
array([[ inf, inf, inf, inf, inf],
[0.87362809, 0.28321499, 0.7427659 , 0.37570528, 0.35783064],
[ -inf, -inf, -inf, -inf, -inf],
[0.72877665, 0.06580068, 0.95222639, 0.00833664, 0.68779902],
[0.90272002, 0.37357483, 0.92952479, 0.072105 , 0.20837798]])
# find min and max values for each column, ignoring nan, -inf, and inf
mins = [np.nanmin(matrix[:, i][matrix[:, i] != -np.inf]) for i in range(matrix.shape[1])]
maxs = [np.nanmax(matrix[:, i][matrix[:, i] != np.inf]) for i in range(matrix.shape[1])]
# go through matrix one column at a time and replace + and -infinity
# with the max or min for that column
for i in range(matrix.shape[1]):
matrix[:, i][matrix[:, i] == -np.inf] = mins[i]
matrix[:, i][matrix[:, i] == np.inf] = maxs[i]
>>> matrix
array([[0.90272002, 0.37357483, 0.95222639, 0.37570528, 0.68779902],
[0.87362809, 0.28321499, 0.7427659 , 0.37570528, 0.35783064],
[0.72877665, 0.06580068, 0.7427659 , 0.00833664, 0.20837798],
[0.72877665, 0.06580068, 0.95222639, 0.00833664, 0.68779902],
[0.90272002, 0.37357483, 0.92952479, 0.072105 , 0.20837798]])
我想提出一个适合我的 numpy 解决方案。行
from numpy import inf
inputArray[inputArray == inf] = np.finfo(np.float64).max
用最大 float64 数替换 numpy 数组的所有无限值。
None 这里的答案对我有用。这就是有效的方法。
Test_y = np.nan_to_num(Test_y)
它将无限值替换为高有限值，将 nan 值替换为数字
dataset = dataset.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
这对我有用
如果您是 运行 估算师，可能是因为您的学习率太高了。我不小心将错误的数组传递给了网格搜索，最终以 500 的学习率进行了训练，我认为这会导致训练过程出现问题。
基本上，不仅您的输入必须全部有效，中间数据也必须有效。
问题似乎发生在 DecisionTreeClassifier 输入检查中，尝试
X_train = X_train.replace((np.inf, -np.inf, np.nan), 0).reset_index(drop=True)
我遇到了同样的问题，在我的例子中，答案很简单，我的 CSV 中有一个单元格没有值（“x,y,z,”）。为我固定一个默认值。
使用 isneginf 可能会有帮助。
http://docs.scipy.org/doc/numpy/reference/generated/numpy.isneginf.html#numpy.isneginf
x[numpy.isneginf(x)] = 0 #0 is the value you want to replace with
注意：此解决方案仅适用于您有意识地希望在数据集中保留 NaN 个条目的情况。
当我使用一些可以优雅地处理 NaN 数据的 scikit-learn functionality (in my case: GridSearchCV). Under the hood I was using an xgboost XGBClassifier 时，我发生了这个错误。但是，GridSearchCV 正在使用 sklearn.utils.validation 模块，该模块通过调用 _assert_all_finite 函数强制输入数据中缺少缺失数据。这最终导致了一个错误：
ValueError: Input contains NaN, infinity or a value too large for dtype('float64')
旁注：_assert_all_finite 接受 allow_nan 参数，如果设置为 True，则不会引起问题。但是，scikit-learnAPI不允许我们控制这个参数。
解决方案
我的解决方案是使用 patch 模块使 _assert_all_finite 函数静音，这样它就不会 raise ValueError。这是一个片段
import sklearn
with mock.patch("sklearn.utils.validation._assert_all_finite"):
# your code that raises ValueError
这将用虚拟模拟函数替换 _assert_all_finite，因此它不会被执行。
请注意，修补不是推荐的做法，可能会导致不可预知的行为！
编辑： This 合并请求应该可以解决该问题（尽管截至 2022 年 1 月尚未发布修复程序）
我发现在对新列调用 pct_change 后，其中一行中存在 nan。我使用以下代码删除了 nan 行
df = df.replace([np.inf, -np.inf], np.nan)
df = df.dropna()
df = df.reset_index()
噗！！在我的例子中，问题是关于 NaN 值...
您可以使用此函数列出包含 NaN 的列
your_data.isnull().sum()
然后您可以将这些 NAN 值填充到您的数据集文件中。
这是有关如何“用零替换 NaN 并用有限大数替换无穷大”的代码。
your_data[:] = np.nan_to_num(your_data)
经过长时间处理这个问题后，我意识到这是因为在训练和测试集的拆分中，有一些数据列对于所有数据行都是相同的。那么某些算法中的一些计算可能会导致无穷大的结果。如果您使用的数据在某种程度上使关闭的行更可能相似，那么打乱数据会有所帮助。这是 scikit 的一个错误。我正在使用版本 0.23.2.
如果您碰巧使用了 "kc_house_data.csv" 数据集（一些评论者和许多 data-science 新手似乎都在使用它，因为它在很多地方都有展示流行课程 material)，数据有误，错误的真正来源。
到 2022 年修复它：
- 删除 csv 文件中的最后（空）行
- 有两行包含一个空数据值“x,x,x,x” - 要修复它，不要删除逗号，而是添加一个随机整数值，如 2000，所以它看起来像这个“x,x,2000,x,x”
不要忘记在您的项目中保存并重新加载。
所有其他答案都是有帮助和正确的，但在这种情况下不是：
如果使用 kc_house_data.csv 需要修复文件中的数据, 没有别的帮助，空数据字段会随机移动其他数据并产生难以追踪到源头的奇怪错误！