solr delta-import "fetches" "processing" 之前的所有数据？

Question

我使用solr的DIH将数据从mysql增量导入到solr，但是我发现当table有大量记录（100000000）时，增量导入需要获取所有处理前的数据。所以它总是会导致大量内存消耗导致 运行 Out of Memory。而当我进行完全导入操作时，它可能会获取部分数据。

是否有任何关于 solr delta 导入的设置来解决这个问题？

Answer 1

一个解决方案可能是在 data-config.xml 中设置 batchSize。以下是如何操作的示例：

<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:8889/mysqldatabase" batchSize="-1" user="root" password="root"/>

此示例摘自以下link：DataImportHandler - Solr Wiki

您可以尝试的另一件事是对增量使用 full-import 命令，但设置 batchSize 在过去对我有用。如果您想尝试使用 full-import 作为增量，请访问以下 link：Full Import Delta - Solr Wiki

solr delta-import "fetches" "processing" 之前的所有数据？

solr delta-import "fetches" all data before "processing"?

mysql

solr