风暴结果可视化

Storm results visualization

我花了几个小时来寻找可视化我的 Storm 系统结果的最佳方法。似乎有无限种技术组合,我完全迷路了。

我想避免使用数据库,因此据我了解,我的系统应该具有以下功能:

如果我在架构上说错了,您能纠正我吗?我也很想知道哪种技术组合是最好的。

有很多方法。我最近使用 Apache Storm + Kafka 构建了一个演示。对于可视化,我使用了 JQuery --> Node.js(对于 restful 网络服务)--> Redis。这只是一个例子。您可以根据您的用例考虑许多其他组合。

正如@Lan所说,你的问题太宽泛了

对于最低限度的使用,我个人将 Redis 和 Storm 一起使用,因为 redis 可以用作基本队列(如果必须的话,请注意 redis 和集群的持久性问题),storm 的共享内存 space bolts/spouts(存储配置,中间结果...)和一个基本的消息代理(pub/sub 支持),它在延迟和吞吐量方面也有非常好的表现。

然后您可以使用 "classic" 后端将 redis 主题插入 websockets,例如使用带有 sockjs 和 redis 客户端的 nodejs,但是在许多语言中有更多的解决方案来解决这个问题。

对于前面的部分,它应该由您的服务器选择定义(例如 sockjs-client 或 socket.io with nodejs),因为当浏览器不支持 websockets 时嵌入回退策略。

总而言之,最好的体系结构是适合您的用途的体系结构,因此要视情况而定。