是否有像 Nifi 或 flink 或 beam-filnk 的 streamsets 数据收集器这样的可视化编程环境

is there a visual programming environment like Nifi or streamsets data collector for flink or beam-filnk

我正在寻找一种可视化编程工具,以便在创建数据流以在 Flink 或 Beam-Flink 中构建 CEP 应用程序时抽象出编码。像 Nifi 或 streamsets 数据收集器图形设计器。

有人知道这样的项目吗?

遗憾的是,目前开源生态中还没有这样的可视化管道构建工具。

也就是说,这不是无法解决的问题 -- 在 Apache Beam 中,它通过 BEAM-266 进行跟踪,并且可以想象这会在中期成为项目的一部分。

在开源之外,还有建立在 Apache Beam 之上的商业工具提供类似的东西,但在一个稍微减少的领域(例如,数据准备)——查看 Talend 的工具,Google云,等

现在有一个可视化工具https://github.com/TouK/nussknacker。 其流程执行的结果并不完全映射到 Flink Operator 或 Beam,但 Nussknacker 节点可以很容易地转换为类似的 Flink Operators。一个 Nussknacker 场景被部署为单个 Flink 的作业。您还可以添加自定义组件,这些组件将更直接地转换为 Flink 的 Operators。 您没有 Flink CEP 的全部功能,但您可以使用 filter/switch/split/joint 等

处理许多 CEP​​ 用例