fasttext 断言 "counts.size() == osz_" 失败

Question

我正在尝试使用 fasttext 进行文本分类，我正在 Windows 上对 850MB 文本的语料库进行训练，但我不断收到以下错误：

assertion "counts.size() == osz_" failed: file "src/model.cc", line 206, function: void fasttext::Model::setTargetCounts(const std::vector<long int>&) Aborted (core dumped)

我检查了counts.size()和osz_的值，发现counts.size = 2515626和osz_ = 300。当我在 FastText::loadModel 中的输入流上调用 in.good() 时，我得到 0、in.fail()=1 和 in.eof()=1。

我正在使用以下命令来训练和测试我的模型：

./fasttext supervised -input fasttextinput -output fasttextmodel -dim 300 -epoch 5 -minCount 5 -wordNgrams 2

./fasttext test fasttextmodel.bin fasttextinput

我的输入数据已根据 fasttext github 页面正确格式化，所以我想知道这是我的错误还是错误。

感谢您对此的支持！

Answer 1

要关闭此线程：

正如@Sixhobbits 所指出的，该错误与 https://github.com/facebookresearch/fastText/issues/73 有关（保存 fastText 监督模型时运行磁盘不足 space）

fasttext 断言 "counts.size() == osz_" 失败

fasttext assertion "counts.size() == osz_" failed

c++

fasttext