Kafka connect JDBC sink - 映射嵌套 json 到多行
Kafka connect JDBC sink - Mapping nested json to mulitple rows
作为要求的一部分，我们将继续使用 Kafka 连接将数据推送到我们的数据库。到目前为止我读到的是消息和数据库行之间会有一个 1x1 映射，即对于 Kafka 上的单个消息，数据库中会有一个对应的条目。
我想知道是否有可能将嵌套的 json 分解为多行以插入到数据库中？
我能想到的 2 种可能性是：-
1) 为 jdbc 接收器编写自定义连接器
2）使用消费者组代替kafka connect
Use consumer group instead of kafka connect
Connect 是一个消费者群体。强烈建议不要编写自己的逻辑来处理连接失败、偏移量管理、退出等，让 Connect 为您完成这些工作。如果那些 "benefits" 不适合你，即使那样我认为最好分叉连接器代码（你的选项 2）而不是编写一个普通的 Consumer
连接单消息转换大致就是您要找的。否则，您将编写一个 consumer/producer/Kstreams 应用程序来读取和写回 "flattened" 主题，然后 Connect 将该输出主题读入数据库。
注意：JDBC 不是您唯一的选择。 Mongodb 或 Couchbase 句柄嵌套 JSON 就好了
作为要求的一部分，我们将继续使用 Kafka 连接将数据推送到我们的数据库。到目前为止我读到的是消息和数据库行之间会有一个 1x1 映射，即对于 Kafka 上的单个消息，数据库中会有一个对应的条目。 我想知道是否有可能将嵌套的 json 分解为多行以插入到数据库中？
我能想到的 2 种可能性是：- 1) 为 jdbc 接收器编写自定义连接器 2）使用消费者组代替kafka connect
Use consumer group instead of kafka connect
Connect 是一个消费者群体。强烈建议不要编写自己的逻辑来处理连接失败、偏移量管理、退出等，让 Connect 为您完成这些工作。如果那些 "benefits" 不适合你，即使那样我认为最好分叉连接器代码（你的选项 2）而不是编写一个普通的 Consumer
连接单消息转换大致就是您要找的。否则，您将编写一个 consumer/producer/Kstreams 应用程序来读取和写回 "flattened" 主题，然后 Connect 将该输出主题读入数据库。
注意：JDBC 不是您唯一的选择。 Mongodb 或 Couchbase 句柄嵌套 JSON 就好了