这个内存问题有什么解决方案吗？
Is there any solution for this memory issue?
大家好...
我在 windows 操作系统中用 python 分析了一个大的推文数据集。当我尝试将数据转换为向量 (tfidf) 时，它给我这个错误消息：
MemoryError unable to allocate 298. Gib for an array with shape (439563, 90889) and data type float64
我该如何解决这个问题？
使用代码如下：
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform("MyData")
tf_idf = pd.DataFrame(data = X.toarray(), columns=vectorizer.get_feature_names())
final_df = tf_idf
print("{} rows".format(final_df.shape[0]))
final_df.T.nlargest(5, 0)
我认为最好的解决方案是将数据分成小文件然后单独处理..我做到了并且得到了我想要的结果..谢谢大家..
我建议你使用Google Colab
您可以免费使用强大的 GPU 和 RAM
大家好...
我在 windows 操作系统中用 python 分析了一个大的推文数据集。当我尝试将数据转换为向量 (tfidf) 时，它给我这个错误消息：
MemoryError unable to allocate 298. Gib for an array with shape (439563, 90889) and data type float64
我该如何解决这个问题？
使用代码如下：
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform("MyData")
tf_idf = pd.DataFrame(data = X.toarray(), columns=vectorizer.get_feature_names())
final_df = tf_idf
print("{} rows".format(final_df.shape[0]))
final_df.T.nlargest(5, 0)
我认为最好的解决方案是将数据分成小文件然后单独处理..我做到了并且得到了我想要的结果..谢谢大家..
我建议你使用Google Colab
您可以免费使用强大的 GPU 和 RAM