update/delete 数据库中基于 Apache Kafka 主题消息的记录的最佳方式
Best way to update/delete records in db based on Apache Kafka topic message
我有一个应用程序在 Kafka 主题上发布消息。我使用 Confluent 的 Snow Sync 将主题与 Snowflake table 同步,所以当我向主题发布消息时,它会插入 table.
每次从我的应用程序完成 insert/update/delete 操作时,我都会将其插入到我们的数据库中,但我还需要使其与 Snowflake 保持同步,我们计划为此使用 Kafka 主题。 (我们希望避免 Confluent 的连接器不创建依赖项)。
总而言之,我正在发送一条包含记录信息的消息。它应该被插入/更新/删除。使用 Snow Sync 可以轻松处理插入。处理其他 2 个操作的最佳做法是什么?我是说数据量会很大
这是我决定遵循的方法。我将 url 留给此处的文章,以防其他人需要做类似的事情:
Data materialization in Snowflake using Confluent Kafka
我有一个应用程序在 Kafka 主题上发布消息。我使用 Confluent 的 Snow Sync 将主题与 Snowflake table 同步,所以当我向主题发布消息时,它会插入 table.
每次从我的应用程序完成 insert/update/delete 操作时,我都会将其插入到我们的数据库中,但我还需要使其与 Snowflake 保持同步,我们计划为此使用 Kafka 主题。 (我们希望避免 Confluent 的连接器不创建依赖项)。
总而言之,我正在发送一条包含记录信息的消息。它应该被插入/更新/删除。使用 Snow Sync 可以轻松处理插入。处理其他 2 个操作的最佳做法是什么?我是说数据量会很大
这是我决定遵循的方法。我将 url 留给此处的文章,以防其他人需要做类似的事情: Data materialization in Snowflake using Confluent Kafka