JSON 使用 Hazelcast Jet 处理

Question

我正在使用 PostgreSQL 作为数据库。

-------------------------
id   |  name   | value  |
-------------------------
 1   |  john   |  {"id":"0001"}
-------------------------

上面很简单JSON但是在应用层面JSON就很大了。因此，一旦我们将 json 数据上传到 jet 中，如何通过在 Hazelcast Jet 中创建管道来处理 json 数据。任何简单的建议都有助于开始这个。

Answer 1

如何从 PostgreSQL 获取数据到 Jet 有两种模式：

1/ 批处理模式，Jet 根据您提供的 SQL 查询获取数据。查看 code sample. This mode is available via JDBC source 并生成一个映射到域对象的结果集。

2/ Streaming 模式，Jet 订阅数据库表的更改并收到任何插入、更新或删除的通知。该事件包含新的行值。见 tutorial. This mode is available via PostgresCdcSource and produces ChangeRecords.

两种模式都为您提供原始 JSON 作为字符串。您可以使用 JSON 运算符方便地将 JSON 数据映射到您的域对象，以便您可以由下游的其他运算符处理它们。