将 CountVectorizer 应用于包含行中单词列表的列 Python

Question

我做了一个文本分析的预处理部分，在删除停用词和词干后，像这样：

test[col] = test[col].apply(
    lambda x: [ps.stem(item) for item in re.findall(r"[\w']+", x) if ps.stem(item) not in stop_words])

train[col] = train[col].apply(
    lambda x: [ps.stem(item) for item in re.findall(r"[\w']+", x) if ps.stem(item) not in stop_words])

我有一个包含 "cleaned words" 列表的列。这是一列中的 3 行：

['size']
['pcs', 'new', 'x', 'kraft', 'bubble', 'mailers', 'lined', 'bubble', 'wrap', 'protection', 'self', 'sealing', 'peelandseal', 'adhesive', 'keeps', 'contents', 'secure', 'tamper', 'proof', 'durable', 'lightweight', 'kraft', 'material', 'helps', 'save', 'postage', 'approved', 'ups', 'fedex', 'usps']
['brand', 'new', 'coach', 'bag', 'bought', 'rm', 'coach', 'outlet']

我现在想将 CountVectorizer 应用于此列:

from sklearn.feature_extraction.text import CountVectorizer
cv = CountVectorizer(max_features=1500, analyzer='word', lowercase=False) # will leave only 1500 words
X_train = cv.fit_transform(train[col])

但是我得到一个错误：

TypeError: expected string or bytes-like object

从列表创建字符串而不是再次用 CountVectorizer 分离会有点奇怪。

Answer 1

当你使用fit_transform时，传入的参数必须是可迭代的字符串或类似字节的对象。看起来您应该将其应用于您的专栏。

X_train = train[col].apply(lambda x: cv.fit_transform(x))

您可以阅读 fit_transform here 的文档。

Answer 2

因为我没有找到避免错误的其他方法，所以我加入了列中的列表

train[col]=train[col].apply(lambda x: " ".join(x) )
test[col]=test[col].apply(lambda x: " ".join(x) )

之后才开始得到结果

X_train = cv.fit_transform(train[col])
X_train=pd.DataFrame(X_train.toarray(), columns=cv.get_feature_names())

Answer 3

您的输入应该是字符串或字节的列表，在这种情况下，您似乎提供了列表的列表。

您似乎已经在单独的列表中将字符串标记为标记。你可以做的是如下黑客：

inp = [['size']
['pcs', 'new', 'x', 'kraft', 'bubble', 'mailers', 'lined', 'bubble', 'wrap', 
'protection', 'self', 'sealing', 'peelandseal', 'adhesive', 'keeps', 
'contents', 'secure', 'tamper', 'proof', 'durable', 'lightweight', 'kraft', 
'material', 'helps', 'save', 'postage', 'approved', 'ups', 'fedex', 'usps']]
['brand', 'new', 'coach', 'bag', 'bought', 'rm', 'coach', 'outlet']


inp = ["<some_space>".join(x) for x in inp]

vectorizer = CountVectorizer(tokenizer = lambda x: x.split("<some_space>"), analyzer="word")

vectorizer.fit_transform(inp)

Answer 4

要将 CountVectorizer 应用于单词列表，您应该禁用分析器。

x=[['ab','cd'], ['ab','de']]
vectorizer = CountVectorizer(analyzer=lambda x: x)
vectorizer.fit_transform(x).toarray()

Out:
array([[1, 1, 0],
       [1, 0, 1]], dtype=int64)

将 CountVectorizer 应用于包含行中单词列表的列 Python

Apply CountVectorizer to column with list of words in rows in Python

python

sparse-matrix

word

countvectorizer

bag