6 GB RAM 无法使用 Word2Vec 对文本进行矢量化
6 GB RAM Fails in Vectorizing text using Word2Vec
我正在尝试使用 word2vec 和 tfidf-score 对包含 160 万条推文的数据集进行一项基本的推文情绪分析,但我的 6 GB Gforce-Nvidia 无法做到这一点。因为这是我第一个与机器学习相关的实践项目,所以我想知道我做错了什么,因为数据集都是文本,它不应该占用这么多 RAM,这会使我的笔记本电脑在 tweet2vec 函数中冻结或在缩放部分出现内存错误。下面是我的代码的一部分,一切都崩溃了。
最后一件事是我已经尝试使用多达 1M 的数据并且它有效!所以我很好奇是什么导致了这个问题
# --------------- calculating word weight for using later in word2vec model & bringing words together ---------------
def word_weight(data):
vectorizer = TfidfVectorizer(sublinear_tf=True, use_idf=True)
d = dict()
for index in tqdm(data, total=len(data), desc='Assigning weight to words'):
# --------- try except caches the empty indexes ----------
try:
matrix = vectorizer.fit_transform([w for w in index])
tfidf = dict(zip(vectorizer.get_feature_names(), vectorizer.idf_))
d.update(tfidf)
except ValueError:
continue
print("every word has weight now\n"
"--------------------------------------")
return d
# ------------------- bringing tokens with weight to recreate tweets ----------------
def tweet2vec(tokens, size, tfidf):
count = 0
for index in tqdm(tokens, total=len(tokens), desc='creating sentence vectors'):
# ---------- size is the dimension of word2vec model (200) ---------------
vec = np.zeros(size)
for word in index:
try:
vec += model[word] * tfidf[word]
except KeyError:
continue
tokens[count] = vec.tolist()
count += 1
print("tweet vectors are ready for scaling for ML algorithm\n"
"-------------------------------------------------")
return tokens
dataset = read_dataset('training.csv', ['target', 't_id', 'created_at', 'query', 'user', 'text'])
dataset = delete_unwanted_col(dataset, ['t_id', 'created_at', 'query', 'user'])
dataset_token = [pre_process(t) for t in tqdm(map(lambda t: t, dataset['text']),
desc='cleaning text', total=len(dataset['text']))]
print('pre_process completed, list of tweet tokens is returned\n'
'--------------------------------------------------------')
X = np.array(tweet2vec(dataset_token, 200, word_weight(dataset_token)))
print('scaling vectors ...')
X_scaled = scale(X)
print('features scaled!')
提供给word_weight 函数的数据是一个(1599999, 200) 形状的列表,其中每个索引由预处理的推文标记组成。
感谢您抽出宝贵的时间和提前答复,当然我很高兴听到更好的处理大数据集的方法
如果我理解正确,它适用于 100 万条推文,但无法处理 160 万条推文?所以你知道代码是正确的。
如果 GPU 运行在您认为不应该出现内存不足的情况下出现内存不足,则它可能会保留之前的进程。使用 nvidia-smi
检查哪些进程正在使用 GPU,以及有多少内存。如果(在你 运行 你的代码之前)你发现 python 进程在那里持有一大块,它可能是一个崩溃的进程,或者 Jupyter window 仍然打开,等等
我发现 watch nvidia-smi
(不确定是否有 windows 等价物)很有用,可以了解 GPU 内存如何随着训练的进行而变化。通常一个块在开始时被保留,然后它保持相当稳定。如果您看到它呈线性上升,则代码可能有问题(您 re-loading 是每次迭代的模型,类似的东西吗?)。
当我将代码(tweet2vec 函数)改成这个时,我的问题就解决了
(w 是单词权重)
def tweet2vec(tokens, size, tfidf):
# ------------- size is the dimension of word2vec model (200) ---------------
vec = np.zeros(size).reshape(1, size)
count = 0
for word in tokens:
try:
vec += model[word] * tfidf[word]
count += 1
except KeyError:
continue
if count != 0:
vec /= count
return vec
X = np.concatenate([tweet2vec(token, 200, w) for token in tqdm(map(lambda token: token, dataset_token),
desc='creating tweet vectors',
total=len(dataset_token))]
)
我不知道为什么!!!
我正在尝试使用 word2vec 和 tfidf-score 对包含 160 万条推文的数据集进行一项基本的推文情绪分析,但我的 6 GB Gforce-Nvidia 无法做到这一点。因为这是我第一个与机器学习相关的实践项目,所以我想知道我做错了什么,因为数据集都是文本,它不应该占用这么多 RAM,这会使我的笔记本电脑在 tweet2vec 函数中冻结或在缩放部分出现内存错误。下面是我的代码的一部分,一切都崩溃了。 最后一件事是我已经尝试使用多达 1M 的数据并且它有效!所以我很好奇是什么导致了这个问题
# --------------- calculating word weight for using later in word2vec model & bringing words together ---------------
def word_weight(data):
vectorizer = TfidfVectorizer(sublinear_tf=True, use_idf=True)
d = dict()
for index in tqdm(data, total=len(data), desc='Assigning weight to words'):
# --------- try except caches the empty indexes ----------
try:
matrix = vectorizer.fit_transform([w for w in index])
tfidf = dict(zip(vectorizer.get_feature_names(), vectorizer.idf_))
d.update(tfidf)
except ValueError:
continue
print("every word has weight now\n"
"--------------------------------------")
return d
# ------------------- bringing tokens with weight to recreate tweets ----------------
def tweet2vec(tokens, size, tfidf):
count = 0
for index in tqdm(tokens, total=len(tokens), desc='creating sentence vectors'):
# ---------- size is the dimension of word2vec model (200) ---------------
vec = np.zeros(size)
for word in index:
try:
vec += model[word] * tfidf[word]
except KeyError:
continue
tokens[count] = vec.tolist()
count += 1
print("tweet vectors are ready for scaling for ML algorithm\n"
"-------------------------------------------------")
return tokens
dataset = read_dataset('training.csv', ['target', 't_id', 'created_at', 'query', 'user', 'text'])
dataset = delete_unwanted_col(dataset, ['t_id', 'created_at', 'query', 'user'])
dataset_token = [pre_process(t) for t in tqdm(map(lambda t: t, dataset['text']),
desc='cleaning text', total=len(dataset['text']))]
print('pre_process completed, list of tweet tokens is returned\n'
'--------------------------------------------------------')
X = np.array(tweet2vec(dataset_token, 200, word_weight(dataset_token)))
print('scaling vectors ...')
X_scaled = scale(X)
print('features scaled!')
提供给word_weight 函数的数据是一个(1599999, 200) 形状的列表,其中每个索引由预处理的推文标记组成。 感谢您抽出宝贵的时间和提前答复,当然我很高兴听到更好的处理大数据集的方法
如果我理解正确,它适用于 100 万条推文,但无法处理 160 万条推文?所以你知道代码是正确的。
如果 GPU 运行在您认为不应该出现内存不足的情况下出现内存不足,则它可能会保留之前的进程。使用 nvidia-smi
检查哪些进程正在使用 GPU,以及有多少内存。如果(在你 运行 你的代码之前)你发现 python 进程在那里持有一大块,它可能是一个崩溃的进程,或者 Jupyter window 仍然打开,等等
我发现 watch nvidia-smi
(不确定是否有 windows 等价物)很有用,可以了解 GPU 内存如何随着训练的进行而变化。通常一个块在开始时被保留,然后它保持相当稳定。如果您看到它呈线性上升,则代码可能有问题(您 re-loading 是每次迭代的模型,类似的东西吗?)。
当我将代码(tweet2vec 函数)改成这个时,我的问题就解决了 (w 是单词权重)
def tweet2vec(tokens, size, tfidf):
# ------------- size is the dimension of word2vec model (200) ---------------
vec = np.zeros(size).reshape(1, size)
count = 0
for word in tokens:
try:
vec += model[word] * tfidf[word]
count += 1
except KeyError:
continue
if count != 0:
vec /= count
return vec
X = np.concatenate([tweet2vec(token, 200, w) for token in tqdm(map(lambda token: token, dataset_token),
desc='creating tweet vectors',
total=len(dataset_token))]
)
我不知道为什么!!!