Sphinx 索引器“无错误”错误

Sphinx indexer «No error» error

我有 25GB 的 TSV 文件并尝试使用命令导入它:

D:\sphinx\bin>indexer.exe -c D:\sphinx\sphinx.conf products --rotate

它工作了一段时间,但随后显示错误

ERROR: index 'products': source 'products_tsv': read error 'No error' (line=4595827, pos=908, docid=4595827).

但是4595827行的记录没有问题。 我有两个问题:

  1. 通常是什么原因导致此问题?
  2. 索引器是否有忽略错误的标志?

在检查数据文件上浪费了很多时间,发现了很多隐藏符号,例如SYM (\U001A), NULL ([=11=]00) 和更多,这让 Sphinx 变得疯狂。
简单地(如果 «简单地» 可以说大约 25GB 文件)将所有 SYM 替换为 ' 并删除其他的。
我们向前推进并面临另一个问题,但这是另一个

尝试在 .tsv 数据源的最后一行之后添加额外的换行符,以便最后一行为空。就我而言,它有所帮助。感谢@stefobark 和他的存储库 stefobark/index_tsv