icCube 增量与单次加载性能

icCube incremental vs single load performance

我正在使用具有增量加载功能的平面文件数据源，并且我看到了不同的性能，具体取决于我进行加载的方式。我有 3 个数据集 {d1,d2,d3}，其中 d1 和 d2 大小相同，d3 大 3 倍。我正在一台 16GB 内存的机器上做以下测试：

另一方面，如果我做单次加载d1+d2+d3，总时间是5m29s，没有内存问题。

这只是增量加载与单一加载时的内存开销问题，还是我应该更好地管理性能？

为了支持实时，已经实现了增量加载，它与普通加载的逻辑不同。

额外的数据被预加载到内存中，这就是它占用更多内存的原因。在此预加载期间，模式仍然可用，一旦新数据完全预加载并完成第一次质量检查，模式将被写入锁定并完成实际加载。这允许将模式锁定几毫秒。

增量加载适用于实时，'small' 额外数据量，不适合您的场景。

缓慢的时间不是因为你运行内存不足（很多 GC）？

希望对您有所帮助。

PS：如果您需要其他支持，请直接联系支持人员。