使用 scikit-learn 进行文本分类：如何从 pickle 模型中获取新文档的表示
Text Classification with scikit-learn: how to get a new document's representation from a pickle model
我有一个文档二项式 classifier，它使用 tf-idf 表示训练文档集并对其应用逻辑回归：
lr_tfidf = Pipeline([('vect', tfidf),('clf', LogisticRegression(random_state=0))])
lr_tfidf.fit(X_train, y_train)
我将模型保存在 pickle 中并用它来class验证新文档：
text_model = pickle.load(open('text_model.pkl', 'rb'))
results = text_model.predict_proba(new_document)
如何在不显式计算的情况下获得模型用于此新文档的表示（特征 + 频率）？
编辑：我试图更好地解释我想要得到的东西。
当我使用 predict_proba 时，我猜想新文档表示为词频向量（根据存储的模型中使用的规则），并且这些词频乘以逻辑回归模型学习的系数来预测class。我对吗？如果是，我怎样才能得到predict_proba使用的这个新文档的术语和术语频率？
我正在使用 sklearn v 0.19
我从评论中了解到，您需要从管道内部访问 tfidfVectorizer。这可以通过以下方式轻松完成：
tfidfVect = text_model.named_steps['vect']
现在您可以使用矢量化器的 transform() method 来获取 tfidf 值。
tfidf_vals = tfidfVect.transform(new_document)
tfidf_vals 将是一个单行稀疏矩阵，其中包含在 new_document 中找到的项的 tfidf。要检查此矩阵中存在哪些项，您需要使用 tfidfVect.get_feature_names().
我有一个文档二项式 classifier，它使用 tf-idf 表示训练文档集并对其应用逻辑回归：
lr_tfidf = Pipeline([('vect', tfidf),('clf', LogisticRegression(random_state=0))])
lr_tfidf.fit(X_train, y_train)
我将模型保存在 pickle 中并用它来class验证新文档：
text_model = pickle.load(open('text_model.pkl', 'rb'))
results = text_model.predict_proba(new_document)
如何在不显式计算的情况下获得模型用于此新文档的表示（特征 + 频率）？
编辑：我试图更好地解释我想要得到的东西。 当我使用 predict_proba 时，我猜想新文档表示为词频向量（根据存储的模型中使用的规则），并且这些词频乘以逻辑回归模型学习的系数来预测class。我对吗？如果是，我怎样才能得到predict_proba使用的这个新文档的术语和术语频率？
我正在使用 sklearn v 0.19
我从评论中了解到，您需要从管道内部访问 tfidfVectorizer。这可以通过以下方式轻松完成：
tfidfVect = text_model.named_steps['vect']
现在您可以使用矢量化器的 transform() method 来获取 tfidf 值。
tfidf_vals = tfidfVect.transform(new_document)
tfidf_vals 将是一个单行稀疏矩阵，其中包含在 new_document 中找到的项的 tfidf。要检查此矩阵中存在哪些项，您需要使用 tfidfVect.get_feature_names().