如何使用 logstash+jdbc 和数据库触发器对 Elasticsearch 进行增量加载

Question

我有 elasticsearch 集群，我正在使用 logstash + jdbc 加载数据。

我想知道有什么方法可以基于数据库触发器而不是依赖于使用最后修改值列的查询来执行增量加载

非常感谢任何帮助

Answer 1

市场上有一些工具，具体取决于您使用的数据库。

• Debezium - Github
• PGSync - Github
• ZomboDB - Github

Debezium

Debezium 是一个开源项目，它为变更数据捕获 (CDC) 提供低延迟数据流平台。您设置并配置 Debezium 以监控您的数据库，然后您的应用程序会为对数据库所做的每个行级更改使用事件。

PGSync

PGSync 是一个用于将数据从 Postgres 同步到 Elasticsearch 的中间件。它允许您将 Postgres 作为您的真实来源，并在 Elasticsearch 中公开结构化的非规范化文档。

ZomboDB

ZomboDB 允许您直接从 Postgres 使用 Elasticsearch 的强大功能和可扩展性。您不必管理 Postgres 和 Elasticsearch 之间的事务、异步索引管道、复杂的重新索引过程或多个数据访问代码路径——ZomboDB 会为您完成这一切。