为什么 Apache Flink 需要很多 RAM

Why does Apache Flink need much RAM

我正在考虑使用 Apache Flink 来处理我项目中的一些流数据。

但是,朋友告诉我 Flink 可能需要很多 RAM。另外,我发现了一些告诉我同样事情的东西:https://www.quora.com/What-is-the-difference-between-Apache-Flink-and-Apache-Spark

目前我还没有学到很多关于 Flink 的知识,我只是成功安装了它和 运行 Word Count 示例。

所以我想知道为什么 Flink 需要那么多 RAM。主要原因是什么? Flink 本身的一些缺点?还是保存历史数据?或者其他什么?

我可以使用 Redis 之类的东西来避免这个问题吗?

Quora 上的那个答案相当陈旧,缺乏细节。

这完全取决于您所说的 "a lot of memory" 是什么意思。我在 Raspberry PI 集群上看到了 Flink 运行——参见 https://hal.inria.fr/hal-02463206/document. For another take on this, see also Extend Flink to edge computing with much lower footprint

开箱即用的配置旨在适用于广泛的用例。因此,如果您需要将 Flink 压缩到一个资源更受限的环境中,那么还有一些优化空间。