Python 有监督的 ML 文本按概率分类为不同的类别

Question

我正在处理一个大型推文数据集，我从中将一小部分训练成四个手动分类的类别。手动分类每个大约有 20 条推文，而数据集有数万条推文。这是我用来训练模型的代码。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfTransformer

tweets = []
labels_list = []
tfidf = TfidfVectorizer(sublinear_tf=True, min_df=5, norm='l2', 
encoding='latin-1', ngram_range=(1, 2), stop_words='english')
features = tfidf.fit_transform(tweets).toarray()
labels = labels_list

X_train, X_test, y_train, y_test = train_test_split(tweets, labels, 
random_state = 0)
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(X_train)
tfidf_transformer = TfidfTransformer()
X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts)
clf = MultinomialNB().fit(X_train_tfidf, y_train)

每当我输入

print(clf.predict(count_vect.transform(["Some random content"])))

如果我在内容中填写与训练数据匹配的内容，机器会准确输出推文所属的标签。但是，如果我输入完全是废话，它还会输出一些我知道它不属于的随机类别。

我的目标是找到最有可能属于该类别的 100 条推文，但是，上面提到的四个类别并不能代表整个数据集，因此，我需要知道是否存在某种概率阈值如果阈值太低，我可以删除该推文而不将其添加到 100？

我尝试研究多项逻辑回归，但找不到任何类型的概率输出，所以也许我只是做错了什么，或者我想知道另一种方法！

Answer 1

您可以在 clf 上使用 .predict_proba() 方法来获取每条推文的每个 class 的概率。然后，为了获得 class 0 的前 100 条推文，您可以按照 class 0 的概率对所有推文进行排序，然后取前 100 条。

您可以使用 pandas 轻松完成，例如：

import pandas as pd
probsd = pd.DataFrame(clf.predict_proba(Xtest_tfidf))
top_100_class_0_tweets = probsd.sort_values(0, ascending=False).head(100).index

Python 有监督的 ML 文本按概率分类为不同的类别

Python supervised ML text classification into different categories with probability

python

twitter

text

machine-learning

supervised-learning