Scikit TF-IDF - 不确定 TD-IDF 数组的解释？

Question

我有一个数据框的子集，例如：

<OUT>
PageNumber    Top_words_only
56            people sun flower festival 
75            sunflower sun architecture red buses festival

我想在 English_tags df 列上计算 TF-IDF，每一行都作为一个文档。我试过：

Vectorizer = TfidfVectorizer(lowercase = True, max_df = 0.8, min_df = 5, stop_words = 'english')
Vectors = Vectorizer.fit_transform(df['top_words_only'])

如果我打印数组，结果如下：

array([[0.        , 0.        , 0.        , ..., 0.        , 0.35588179,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       ...,
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ],
       [0.        , 0.        , 0.        , ..., 0.        , 0.        ,
        0.        ]])

但我对这意味着什么感到有点困惑 - 为什么有这么多 o 值？实施 TfidfVectorizer() 是否会在考虑所有文档（即语料库）的情况下自动计算每个标签的 TF-IDF 值？

Answer 1

调用 fit_transform 计算每个提供的文档的向量。每个向量的大小都相同。向量的大小是所提供文档中唯一单词的数量。向量中零值的数量将是向量大小 - 文档中唯一值的数量。

以您的 top_words 为例。您显示 2 个文档：

'people sun flower festival'
'sunflower sun architecture red buses festival'

这些总共有 8 个独特的单词（Vectorizer.get_feature_names_out() 会给你这些）：

'architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower'

用这 2 个文档调用 fit_transform 将得到 2 个向量（每个文档 1 个），每个向量的长度为 8（文档中唯一单词的数量）。

第一个文档 'people sun flower festival' 有 4 个单词，因此，您在向量中得到 4 个值和 4 个零。同样 'sunflower sun architecture red buses festival' 给出 6 个值和 2 个零。

您传入的包含不同单词的文档越多，向量越长，出现零的可能性就越大。

from sklearn.feature_extraction.text import TfidfVectorizer

top_words = ['people sun flower festival', 'sunflower sun architecture red buses festival']

Vectorizer = TfidfVectorizer()
Vectors = Vectorizer.fit_transform(top_words)

print(f'Feature names: {Vectorizer.get_feature_names_out().tolist()}')
tfidf = Vectors.toarray()
print('')
print(f'top_words[0] = {top_words[0]}')
print(f'tfidf[0] = {tfidf[0].tolist()}')
print('')
print(f'top_words[1] = {top_words[1]}')
print(f'tfidf[1] = {tfidf[1].tolist()}')

以上代码将打印：

Feature names: ['architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower']

top_words[0] = people sun flower festival
tfidf[0] = [0.0, 0.0, 0.40993714596036396, 0.5761523551647353, 0.5761523551647353, 0.0, 0.40993714596036396, 0.0]

top_words[1] = sunflower sun architecture red buses festival
tfidf[1] = [0.4466561618018052, 0.4466561618018052, 0.31779953783628945, 0.0, 0.0, 0.4466561618018052, 0.31779953783628945, 0.4466561618018052]

Scikit TF-IDF - 不确定 TD-IDF 数组的解释？

Sci-kit TF-IDF - Unsure of Interpretation of TD-IDF Array?

python

nlp

tf-idf

scikit-learn