Sphinx 索引器“无错误”错误
Sphinx indexer «No error» error
我有 25GB 的 TSV 文件并尝试使用命令导入它:
D:\sphinx\bin>indexer.exe -c D:\sphinx\sphinx.conf products --rotate
它工作了一段时间,但随后显示错误
ERROR: index 'products': source 'products_tsv': read error 'No error' (line=4595827, pos=908, docid=4595827).
但是4595827行的记录没有问题。
我有两个问题:
- 通常是什么原因导致此问题?
- 索引器是否有忽略错误的标志?
在检查数据文件上浪费了很多时间,发现了很多隐藏符号,例如SYM (\U001A
), NULL ([=11=]00
) 和更多,这让 Sphinx 变得疯狂。
简单地(如果 «简单地» 可以说大约 25GB 文件)将所有 SYM 替换为 ' 并删除其他的。
我们向前推进并面临另一个问题,但这是另一个 。
尝试在 .tsv
数据源的最后一行之后添加额外的换行符,以便最后一行为空。就我而言,它有所帮助。感谢@stefobark 和他的存储库 stefobark/index_tsv
我有 25GB 的 TSV 文件并尝试使用命令导入它:
D:\sphinx\bin>indexer.exe -c D:\sphinx\sphinx.conf products --rotate
它工作了一段时间,但随后显示错误
ERROR: index 'products': source 'products_tsv': read error 'No error' (line=4595827, pos=908, docid=4595827).
但是4595827行的记录没有问题。 我有两个问题:
- 通常是什么原因导致此问题?
- 索引器是否有忽略错误的标志?
在检查数据文件上浪费了很多时间,发现了很多隐藏符号,例如SYM (\U001A
), NULL ([=11=]00
) 和更多,这让 Sphinx 变得疯狂。
简单地(如果 «简单地» 可以说大约 25GB 文件)将所有 SYM 替换为 ' 并删除其他的。
我们向前推进并面临另一个问题,但这是另一个
尝试在 .tsv
数据源的最后一行之后添加额外的换行符,以便最后一行为空。就我而言,它有所帮助。感谢@stefobark 和他的存储库 stefobark/index_tsv