Apache Solr Reindexing 无法处理大量记录

Question

我正在尝试使用集合 api 将 solr 集合中的记录重新索引到新集合，对于包含 6000 条记录的集合，它工作正常，并且在 5 分钟内源集合中的所有文档都被复制到目标集合。但是当我试图重新索引一个包含 300 万条记录的集合时，它不起作用。当我检查重新索引的状态时，它给出以下响应

  "responseHeader":{
    "status":0,
    "QTime":11},
  "reindexStatus":{
    "actualSourceCollection":"my-collection",
    "actualTargetCollection":"my-collection-copy",
    "checkpointCollection":".rx_ck_my-collection",
    "daemonName":"my-collection-copy",
    "daemonUrl":"http://localhost:8983/solr/my-collection_shard1_replica_n1",
    "inputDocs":3197842,
    "phase":"copying documents",
    "processedDocs":0,
    "state":"running"}}

我等了大约 5 个小时，但没有文件被复制。我什至尝试了多种选择，例如增加分片和副本集，但没有成功。

我运行 solr 在云模式下有两个节点，我的源集合有两个分片和两个副本集。

我正在使用 8.2 版

当我检查日志时，我没有看到任何错误。对于记录数量较少的收集，相同的过程也能正常工作。

我正在将重建索引过程作为异步任务执行。以下是我用于重建索引的命令 /solr/admin/collections?action=REINDEXCOLLECTION&name=my-first-collections&target=my-first-collections-copy&async=1000

任何调试问题的帮助都会更有帮助

Answer 1

我发现了问题。我正在为更新的模式进行重新索引操作，在新模式中我将一个字段强制设置为现有文档中不存在的字段，当我尝试将所有值复制到具有更新模式配置的新集合时，它在强制字段中失败condition.So 重建索引没有发生。

虽然在 Solr 中我没有找到任何重新索引操作的错误状态或错误日志，但它一直显示正在复制文档作为状态。

如果 solr 在这种情况下抛出一些错误会更容易

Apache Solr Reindexing 无法处理大量记录

Apache Solr Reindexing not working with huge set of records

solr

reindex