与多个任务管理器共享相同的密钥

Question

我在 400 个任务管理器上有一个 flink 应用程序 运行。在 1 小时 window 时间内，我更频繁地获得相同的密钥，假设在 1500 个唯一密钥中，50 个密钥会更频繁地出现。这使得几乎没有任务经理单独处理比其他人更多的数量。如果 390 个任务管理器每分钟处理 50MB，则其他 10 个任务管理器每分钟处理 10GB。这使得系统非常慢。 如果负载很高，我们可以与多个任务管理器共享相同的密钥吗？我该如何解决这里的问题。

Answer 1

如果您想对数据进行更细粒度的分区，则需要找到一种方法来细分当前键。根据您正在做的事情，在当前键级别聚合之前添加预处理层可能是有意义的（例如）。