Flink 如何对热分区进行伸缩?

How does Flink scale for hot partitions?

如果我有一个用例,我需要加入两个流或从单个流聚合某种指标,并且我使用键控流来划分事件,Flink 如何处理热分区的操作,其中数据可能不适合内存,需要跨分区拆分?

Flink 不会自动对热分区执行任何操作。

如果您有一个持续热的分区,您可以手动拆分它并预先聚合拆分。

如果您担心的是避免由于一个分区的意外负载峰值而导致内存不足错误,您可以使用溢出到磁盘的状态后端。

如果您想要更多的动态数据路由/分区,请查看 Stateful Functions API or the Dynamic Data Routing section of this blog post

如果您想要自动缩放,请参阅 Autoscaling Apache Flink with Ververica Platform Autopilot