Hazelcast Jet - 用例

Hazelcast Jet - Use Cases

Hazelcast Jet 有哪些用例?有人开始用了吗?
我们的项目使用 Hazelcast 进行分布式映射,保存键值对,并在这些键上进行分布式计算,以 运行 持有键的节点上的任务。我们也使用 NearCache 解决方案。

我很想知道 Hazelcast Jet 有何不同以及它解决了哪些问题?

从当前版本 (0.3) 开始,Jet 与仅向每个分区提交 Runnable 相比的优势在于能够通过 Hazelcast 映射中使用的键以外的键执行分组。为了在分布式环境中工作,您必须将每个项目发送到负责其分组键的处理单元,这很容易从 Jet 获得。

此外,您可以构建一个多级级联的 groupBy 操作,您可以在数据流中使用分叉以多种方式重用相同的中间结果,您可以构建一个管道,其中I/O 任务在所有 CPU 核心等上分配它读取的数据处理...简而言之,成熟的 DAG 计算引擎提供的所有优势。

到 1.0 时,Jet 还将支持容错无限流处理、基于事件时间的 windows 等。

2021 年用例答案:

  1. 更改数据捕获流 - 使用 Debezium/Hazelcast 检测对数据库的更改并流式传输到其他微服务(如果数据是通用的),将更改流式传输到数据湖,或更新搜索引擎
  2. 实时分析 - 获取市场数据流并实时执行技术分析或推特分析
  3. 异步作业处理 - PDF 转换服务