如何在 scikit-learn 中估算具有分类数据类型的列

Question

我有一个数据集，其中包含数字和对象的特征。此外，一些具有对象数据类型的特征有缺失值。我创建了一个修改版本的 Imputer（按照另一个 post 上的说明）来处理数字和分类数据类型的缺失值，但是当我应用于我的数据集时它 returns AttributeError。我相信我在为 impute 拟合方法的定义中犯了一个愚蠢的错误，我感谢你的洞察力。这是我的代码和错误：

import os
import pandas as pd
import numpy as np
from sklearn.preprocessing import Imputer

#load the data
path='~/Desktop/ML/Hands_on/housing_train.csv'
path=os.path.expanduser(path)
data=pd.read_csv(path)

#select the columns_names including dtype=object && missing data
object_data=data.select_dtypes(include=['object'])
object_data_null=[]
for col in object_data.columns:
    if object_data[col].isnull().any():
        object_data_null.append(col)

class GeneralImputer(Imputer):
    def __init__(self, **kwargs):
        Imputer.__init__(self, **kwargs)

    def fit(self, X, y=None):
        if self.strategy == 'most_frequent':
            self.fills = pd.DataFrame(X).mode(axis=0).squeeze()
            self.statistics_ = self.fills.values
            return self
        else:
            return Imputer.fit(self, X, y=y)

    def transform(self, X):
        if hasattr(self, 'fills'):
            return pd.DataFrame(X).fillna(self.fills).values.astype(str)
        else:
            return Imputer.transform(self, X)

imputer=GeneralImputer(strategy='most_frequent', axis=1)

for i in object_data_null:
    imputer.fit(data[i])
    data[i]=imputer.transform(data[i])


---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-29-989e78355872> in <module>()
     38 object_data_null
     39 for i in object_data_null:
---> 40     imputer.fit(data[i])
     41     data[i]=imputer.transform(data[i])
     42 

<ipython-input-29-989e78355872> in fit(self, X, y)
     23         if self.strategy == 'most_frequent':
     24             self.fills = pd.DataFrame(X).mode(axis=0).squeeze()
---> 25             self.statistics_ = self.fills.values
     26             return self
     27         else:

AttributeError: 'str' object has no attribute 'values'

Answer 1

对于 1 大小的对象，squeeze() 方法将 return 缩放对象作为 mentioned in the documentation

这意味着，在大多数情况下（这里的所有列都会发生这种情况），列的模式将是单个对象，然后 squeeze() 将 return 只是字符串。

所以不需要在它后面得到 .values。更改您的 fit() 方法以删除它：

def fit(self, X, y=None):
    if self.strategy == 'most_frequent':
        self.fills = pd.DataFrame(X).mode(axis=0).squeeze()

        # Removed .values from the below line
        self.statistics_ = self.fills
        return self

如何在 scikit-learn 中估算具有分类数据类型的列

How to impute columns with categorial datatype in scikit-learn

python

preprocessor

machine-learning

scikit-learn

imputation