一旦数据被推送到kafka服务器，删除源中的数据

Question

我正在使用融合平台 3.3 从 Oracle 数据库中提取数据。将数据推送到 kafka 服务器后，应在数据库中删除检索到的数据。

有什么办法吗？请提出建议。

Answer 1

Kafka 没有默认的方式来执行此操作。

您是如何使用 Kafka Connect 或您编写的自定义代码从数据库中读取数据的？

如果是后者，我建议在您的代码中实现删除，一旦 Kafka 确认发送并定期批量删除就收集 ID。

或者，您可以编写一个小作业，使用与实际目标系统不同的消费者组读取您的 Kafka 主题，并根据它从主题中提取的记录进行删除。如果您 运行 每隔几分钟、几小时...执行此作业，您也可以跟上发送的数据。