通过 mongo-connector 连接 Mongodb 和 elasticsearch 时丢失文档
Missing documents while connecting Mongodb and elasticsearch via mongo-connector
我正在尝试通过 mongo-connector 3.1.1
将文档从 MongoDB 4.4.5 传输到 Elasticsearch7.12
我开始使用：
sudo mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n Data.myData --continue-on-error --batch-size=1000 --only-dump --batch-size=1000 --no-dump --tz-aware
在日志的开头，我可以看到MongoDB中的文档总数是454
过程完成后我得到
在 Elasticsearch 索引中，我只能看到 268，如图所示
知道这里的问题是什么吗？
此问题与达到 Elasticsearch 上字段映射的最大数量有关
解决此问题通过
增加对 Elasticsearch 索引的限制
PUT my_data_index/_settings
{
"index.mapping.total_fields.limit": 20000
}
我正在尝试通过 mongo-connector 3.1.1
将文档从 MongoDB 4.4.5 传输到 Elasticsearch7.12我开始使用：
sudo mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n Data.myData --continue-on-error --batch-size=1000 --only-dump --batch-size=1000 --no-dump --tz-aware
在日志的开头，我可以看到MongoDB中的文档总数是454
过程完成后我得到
在 Elasticsearch 索引中，我只能看到 268，如图所示
知道这里的问题是什么吗？
此问题与达到 Elasticsearch 上字段映射的最大数量有关 解决此问题通过
增加对 Elasticsearch 索引的限制PUT my_data_index/_settings
{
"index.mapping.total_fields.limit": 20000
}