如何在 marklogic mlcp 中提取数据时检查 CSV 中是否存在必填字段

Question

我想在通过 marklogic 中的 MLCP 摄取数据时检查 CSV 中可用的几个必填字段。如果这些字段不可用，我需要忽略那些必须在 marklogic

中摄取的记录

Answer 1

有很多不同的方法可以解决这个问题，这里有一些：

由于您使用的是 DHF，因此我首先会考虑在流程步骤中使用 validateEntity。这将首先阻止这些记录进入 MLCP 步骤。

或者，如果要定期搜索这些字段，您可以配置一个范围索引 Range Indexes，它可以配置为拒绝无效值，因此这些文档将无法摄取。好处是这会提高这些搜索的搜索性能，缺点是它会增加内存

另一种选择是使用 Schema，它也可用于验证文档，拒绝不符合验证规则的文档。