改进流 Python 分类器并组合特征
Improve flow Python classifier and combine features
我正在尝试创建一个分类器来对网站进行分类。我是第一次这样做，所以这对我来说都是全新的。目前我正在尝试在网页的几个部分（例如标题、文本、标题）上做一些词袋。它看起来像这样：
from sklearn.feature_extraction.text import CountVectorizer
countvect_text = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_title = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_headings = CountVectorizer(encoding="cp1252", stop_words="english")
X_tr_text_counts = countvect_text.fit_transform(tr_data['text'])
X_tr_title_counts = countvect_title.fit_transform(tr_data['title'])
X_tr_headings_counts = countvect_headings.fit_transform(tr_data['headings'])
from sklearn.feature_extraction.text import TfidfTransformer
transformer_text = TfidfTransformer(use_idf=True)
transformer_title = TfidfTransformer(use_idf=True)
transformer_headings = TfidfTransformer(use_idf=True)
X_tr_text_tfidf = transformer_text.fit_transform(X_tr_text_counts)
X_tr_title_tfidf = transformer_title.fit_transform(X_tr_title_counts)
X_tr_headings_tfidf = transformer_headings.fit_transform(X_tr_headings_counts)
from sklearn.naive_bayes import MultinomialNB
text_nb = MultinomialNB().fit(X_tr_text_tfidf, tr_data['class'])
title_nb = MultinomialNB().fit(X_tr_title_tfidf, tr_data['class'])
headings_nb = MultinomialNB().fit(X_tr_headings_tfidf, tr_data['class'])
X_te_text_counts = countvect_text.transform(te_data['text'])
X_te_title_counts = countvect_title.transform(te_data['title'])
X_te_headings_counts = countvect_headings.transform(te_data['headings'])
X_te_text_tfidf = transformer_text.transform(X_te_text_counts)
X_te_title_tfidf = transformer_title.transform(X_te_title_counts)
X_te_headings_tfidf = transformer_headings.transform(X_te_headings_counts)
accuracy_text = text_nb.score(X_te_text_tfidf, te_data['class'])
accuracy_title = title_nb.score(X_te_title_tfidf, te_data['class'])
accuracy_headings = headings_nb.score(X_te_headings_tfidf, te_data['class'])
这工作正常，我得到了预期的准确性。然而，正如您可能已经猜到的那样，这看起来很混乱并且充满了重复。那么我的问题是，有没有办法更简洁地写这个？
此外，我不确定如何将这三个特征组合成一个多项式分类器。我尝试将 tfidf 值列表传递给 MultinomialNB().fit()，但显然这是不允许的。
可选地，为特征添加权重也很好，这样在最终的分类器中一些向量比其他向量具有更高的重要性。
我想我需要 pipeline 但我完全不确定在这种情况下我应该如何使用它。
下面的代码片段是简化代码的可能方法：
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
cv = CountVectorizer(encoding="cp1252", stop_words="english")
tt = TfidfTransformer(use_idf=True)
mnb = MultinomialNB()
accuracy = {}
for item in ['text', 'title', 'headings']:
X_tr_counts = cv.fit_transform(tr_data[item])
X_tr_tfidf = tt.fit_transform(X_tr_counts)
mnb.fit(X_tr_tfidf, tr_data['class'])
X_te_counts = cv.transform(te_data[item])
X_te_tfidf = tt.transform(X_te_counts)
accuracy[item] = mnb.score(X_te_tfidf, te_data['class'])
class化成功率存储在字典 accuracy 中，键为 'text、'title' 和 'headings'。
编辑
一个更优雅的解决方案 - 虽然不一定更简单 - 将包括使用 Pipeline 和 FeatureUnion 正如@Vivek Kumar 指出的那样。这种方法还允许您将所有特征组合到一个模型中，并将加权因子应用于从数据集的不同项目中提取的特征。
首先我们导入必要的模块。
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import FeatureUnion, Pipeline
然后我们定义一个转换器 class（如 this example 中所建议）到 select 数据集的不同项目：
class ItemSelector(BaseEstimator, TransformerMixin):
def __init__(self, key):
self.key = key
def fit(self, foo, bar=None):
return self
def transform(self, data_dict):
return data_dict[self.key]
我们现在可以定义管道了：
pipeline = Pipeline([
('features', FeatureUnion(
transformer_list=[
('text_feats', Pipeline([
('text_selector', ItemSelector(key='text')),
('text_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('title_feats', Pipeline([
('title_selector', ItemSelector(key='text')),
('title_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('headings_feats', Pipeline([
('headings_selector', ItemSelector(key='text')),
('headings_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
],
transformer_weights={'text': 0.5, #change weights as appropriate
'title': 0.3,
'headings': 0.2}
)),
('classifier', MultinomialNB())
])
最后，我们可以class以直接的方式验证数据：
pipeline.fit(tr_data, tr_data['class'])
pipeline.score(te_data, te_data['class'])
首先，CountVectorizer 和 TfidfTransformer 可以通过使用 TfidfVectorizer（本质上是两者的组合）移除。
其次，TfidfVectorizer 和 MultinomialNB 可以组合成 Pipeline。
管道按顺序应用转换列表和最终估计器。当在 Pipeline 上调用 fit() 时，它会一个接一个地拟合所有变换并变换数据，然后使用最终估计器拟合变换后的数据。当 score() 或 predict() 被调用时，它只会在所有变压器上调用 transform()，在最后一个变压器上调用 score() 或 predict()。
因此代码将如下所示：
from sklearn.pipeline import Pipeline
pipeline = Pipeline([('vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)),
('nb', MultinomialNB())])
accuracy={}
for item in ['text', 'title', 'headings']:
# No need to save the return of fit(), it returns self
pipeline.fit(tr_data[item], tr_data['class'])
# Apply transforms, and score with the final estimator
accuracy[item] = pipeline.score(te_data[item], te_data['class'])
编辑：
编辑以包括所有功能的组合以获得单一精度：
为了合并结果，我们可以采用多种方法。一个容易理解的（但又有点混乱的一面）如下：
# Using scipy to concatenate, because tfidfvectorizer returns sparse matrices
from scipy.sparse import hstack
def get_tfidf(tr_data, te_data, columns):
train = None
test = None
tfidfVectorizer = TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)
for item in columns:
temp_train = tfidfVectorizer.fit_transform(tr_data[item])
train = hstack((train, temp_train)) if train is not None else temp_train
temp_test = tfidfVectorizer.transform(te_data[item])
test = hstack((test , temp_test)) if test is not None else temp_test
return train, test
train_tfidf, test_tfidf = get_tfidf(tr_data, te_data, ['text', 'title', 'headings'])
nb = MultinomialNB()
nb.fit(train_tfidf, tr_data['class'])
nb.score(test_tfidf, te_data['class'])
第二种方法（也是更可取的方法）是将所有这些都包含在管道中。但是由于选择了不同的列（'text'、'title'、'headings'）并连接了结果，它并不是那么简单。我们需要为它们使用 FeatureUnion。具体如下示例：
第三，如果您愿意使用其他库，那么 sklearn-pandas 中的 DataFrameMapper 可以简化前面示例中使用的 FeatureUnion 的使用。
如果您确实想走第二条或第三条路，有困难欢迎随时联系。
注意：我没有检查过代码，但它应该可以工作（如果有的话，少一些语法错误）。将尽快在我的电脑上查看。
我正在尝试创建一个分类器来对网站进行分类。我是第一次这样做，所以这对我来说都是全新的。目前我正在尝试在网页的几个部分（例如标题、文本、标题）上做一些词袋。它看起来像这样：
from sklearn.feature_extraction.text import CountVectorizer
countvect_text = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_title = CountVectorizer(encoding="cp1252", stop_words="english")
countvect_headings = CountVectorizer(encoding="cp1252", stop_words="english")
X_tr_text_counts = countvect_text.fit_transform(tr_data['text'])
X_tr_title_counts = countvect_title.fit_transform(tr_data['title'])
X_tr_headings_counts = countvect_headings.fit_transform(tr_data['headings'])
from sklearn.feature_extraction.text import TfidfTransformer
transformer_text = TfidfTransformer(use_idf=True)
transformer_title = TfidfTransformer(use_idf=True)
transformer_headings = TfidfTransformer(use_idf=True)
X_tr_text_tfidf = transformer_text.fit_transform(X_tr_text_counts)
X_tr_title_tfidf = transformer_title.fit_transform(X_tr_title_counts)
X_tr_headings_tfidf = transformer_headings.fit_transform(X_tr_headings_counts)
from sklearn.naive_bayes import MultinomialNB
text_nb = MultinomialNB().fit(X_tr_text_tfidf, tr_data['class'])
title_nb = MultinomialNB().fit(X_tr_title_tfidf, tr_data['class'])
headings_nb = MultinomialNB().fit(X_tr_headings_tfidf, tr_data['class'])
X_te_text_counts = countvect_text.transform(te_data['text'])
X_te_title_counts = countvect_title.transform(te_data['title'])
X_te_headings_counts = countvect_headings.transform(te_data['headings'])
X_te_text_tfidf = transformer_text.transform(X_te_text_counts)
X_te_title_tfidf = transformer_title.transform(X_te_title_counts)
X_te_headings_tfidf = transformer_headings.transform(X_te_headings_counts)
accuracy_text = text_nb.score(X_te_text_tfidf, te_data['class'])
accuracy_title = title_nb.score(X_te_title_tfidf, te_data['class'])
accuracy_headings = headings_nb.score(X_te_headings_tfidf, te_data['class'])
这工作正常，我得到了预期的准确性。然而，正如您可能已经猜到的那样，这看起来很混乱并且充满了重复。那么我的问题是，有没有办法更简洁地写这个？
此外，我不确定如何将这三个特征组合成一个多项式分类器。我尝试将 tfidf 值列表传递给 MultinomialNB().fit()，但显然这是不允许的。
可选地，为特征添加权重也很好，这样在最终的分类器中一些向量比其他向量具有更高的重要性。
我想我需要 pipeline 但我完全不确定在这种情况下我应该如何使用它。
下面的代码片段是简化代码的可能方法：
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
cv = CountVectorizer(encoding="cp1252", stop_words="english")
tt = TfidfTransformer(use_idf=True)
mnb = MultinomialNB()
accuracy = {}
for item in ['text', 'title', 'headings']:
X_tr_counts = cv.fit_transform(tr_data[item])
X_tr_tfidf = tt.fit_transform(X_tr_counts)
mnb.fit(X_tr_tfidf, tr_data['class'])
X_te_counts = cv.transform(te_data[item])
X_te_tfidf = tt.transform(X_te_counts)
accuracy[item] = mnb.score(X_te_tfidf, te_data['class'])
class化成功率存储在字典 accuracy 中，键为 'text、'title' 和 'headings'。
编辑
一个更优雅的解决方案 - 虽然不一定更简单 - 将包括使用 Pipeline 和 FeatureUnion 正如@Vivek Kumar 指出的那样。这种方法还允许您将所有特征组合到一个模型中，并将加权因子应用于从数据集的不同项目中提取的特征。
首先我们导入必要的模块。
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import FeatureUnion, Pipeline
然后我们定义一个转换器 class（如 this example 中所建议）到 select 数据集的不同项目：
class ItemSelector(BaseEstimator, TransformerMixin):
def __init__(self, key):
self.key = key
def fit(self, foo, bar=None):
return self
def transform(self, data_dict):
return data_dict[self.key]
我们现在可以定义管道了：
pipeline = Pipeline([
('features', FeatureUnion(
transformer_list=[
('text_feats', Pipeline([
('text_selector', ItemSelector(key='text')),
('text_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('title_feats', Pipeline([
('title_selector', ItemSelector(key='text')),
('title_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
('headings_feats', Pipeline([
('headings_selector', ItemSelector(key='text')),
('headings_vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True))
])),
],
transformer_weights={'text': 0.5, #change weights as appropriate
'title': 0.3,
'headings': 0.2}
)),
('classifier', MultinomialNB())
])
最后，我们可以class以直接的方式验证数据：
pipeline.fit(tr_data, tr_data['class'])
pipeline.score(te_data, te_data['class'])
首先，CountVectorizer 和 TfidfTransformer 可以通过使用 TfidfVectorizer（本质上是两者的组合）移除。
其次，TfidfVectorizer 和 MultinomialNB 可以组合成 Pipeline。
管道按顺序应用转换列表和最终估计器。当在 Pipeline 上调用 fit() 时，它会一个接一个地拟合所有变换并变换数据，然后使用最终估计器拟合变换后的数据。当 score() 或 predict() 被调用时，它只会在所有变压器上调用 transform()，在最后一个变压器上调用 score() 或 predict()。
因此代码将如下所示：
from sklearn.pipeline import Pipeline
pipeline = Pipeline([('vectorizer', TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)),
('nb', MultinomialNB())])
accuracy={}
for item in ['text', 'title', 'headings']:
# No need to save the return of fit(), it returns self
pipeline.fit(tr_data[item], tr_data['class'])
# Apply transforms, and score with the final estimator
accuracy[item] = pipeline.score(te_data[item], te_data['class'])
编辑： 编辑以包括所有功能的组合以获得单一精度：
为了合并结果，我们可以采用多种方法。一个容易理解的（但又有点混乱的一面）如下：
# Using scipy to concatenate, because tfidfvectorizer returns sparse matrices
from scipy.sparse import hstack
def get_tfidf(tr_data, te_data, columns):
train = None
test = None
tfidfVectorizer = TfidfVectorizer(encoding="cp1252",
stop_words="english",
use_idf=True)
for item in columns:
temp_train = tfidfVectorizer.fit_transform(tr_data[item])
train = hstack((train, temp_train)) if train is not None else temp_train
temp_test = tfidfVectorizer.transform(te_data[item])
test = hstack((test , temp_test)) if test is not None else temp_test
return train, test
train_tfidf, test_tfidf = get_tfidf(tr_data, te_data, ['text', 'title', 'headings'])
nb = MultinomialNB()
nb.fit(train_tfidf, tr_data['class'])
nb.score(test_tfidf, te_data['class'])
第二种方法（也是更可取的方法）是将所有这些都包含在管道中。但是由于选择了不同的列（'text'、'title'、'headings'）并连接了结果，它并不是那么简单。我们需要为它们使用 FeatureUnion。具体如下示例：
第三，如果您愿意使用其他库，那么 sklearn-pandas 中的 DataFrameMapper 可以简化前面示例中使用的 FeatureUnion 的使用。
如果您确实想走第二条或第三条路，有困难欢迎随时联系。
注意：我没有检查过代码，但它应该可以工作（如果有的话，少一些语法错误）。将尽快在我的电脑上查看。