MLCP 批量加载

MLCP Bulk Loading

我有将近 10000 个 XML(小)文件,我正在通过 MLCP 将它们放入 MarkLogic。在摄取的时候,我正在做一些转换,转换中主要是字典更新。我正在根据 XML 元素的输入更新字典。

我收到警告。此警告的含义和原因是什么?

WARN mapreduce.ContentWriter: XDMP-XDQPNOSESSION

MLCP 摄取文档的速度非常慢。我认为这是因为词典更新。有没有什么方法可以增强 MLCP java 堆内存,或者有什么其他方法可以在 ML 服务器上快速提取这些文档。

请推荐。

XDMP-XDQPNOSESSION 的文档提到了一个影响 MarkLogic 5.0-2 及之前和 4.2-9 及之前的错误。如果您使用的是其中一个版本,那么修复方法似乎就是升级到过去的版本。

您提到根据 XML 元素更新词典。 MLCP 在并行化输入方面做得很好,但是对于每个输入文档,您都在 Dictionary 文档上获取写锁。不确定你想用词典完成什么,但也许你可以改用单词词典。这将在插入文档时自动更新,而不需要对单个文件进行写锁定。