如何设计既是Sink又是Source的Kafka Connect

Question

我正在开发一个订阅主题、转换消息、将转换后的消息推送回另一个主题的 Kafka-Connector。

到目前为止，我将其实现为 SinkTask class，每个任务执行 ETL，实例化发布者对象，将消息写回另一个主题。

有没有更简洁的实现方式？我相信这是一个常见的用例，连接器既是接收器又是源。

Answer 1

这不是 Kafka Connect 的基本用例。如果你已经在使用 Kafka 0.10.x，那么新的 Kafka Streams API 正是为这种事情而创建的。