flink 运行 可以实现多个相同的作业来实现伪动态缩放吗？
Can flink run mutliple same jobs to achieve pseudo dynamic scaling?
我们正在研究如何对 flink 任务进行动态缩放。该任务即将在 kafka 主题中读取流式传输并执行...然后下沉到另一个 kafka 主题。我们知道必须先停止 flink 作业才能修改并行度，这不是我们想要的。
既然我们不能在不停止 flink 作业的情况下动态地向任务添加资源，我们是否可以复制 flink 作业（通过来自 kafka 主题的相同 groupid 消费）来提高性能？此外，是否可以使用 yarn 或 kubernetes 来管理这些作业并为此类 flink 任务（使用 kafka）实现伪动态缩放？
您是否不想通过停止作业来修改并行度？
您可以这样做，但是您会有效地将数据拆分到各种作业中。因此，您不仅会承担现在需要了解跨多个作业的吞吐量以有效地自动缩放的成本，而且您会使其完成任何有状态的处理都会导致 incorrect/inconsistent 结果。
我们正在研究如何对 flink 任务进行动态缩放。该任务即将在 kafka 主题中读取流式传输并执行...然后下沉到另一个 kafka 主题。我们知道必须先停止 flink 作业才能修改并行度，这不是我们想要的。
既然我们不能在不停止 flink 作业的情况下动态地向任务添加资源，我们是否可以复制 flink 作业（通过来自 kafka 主题的相同 groupid 消费）来提高性能？此外，是否可以使用 yarn 或 kubernetes 来管理这些作业并为此类 flink 任务（使用 kafka）实现伪动态缩放？
您是否不想通过停止作业来修改并行度？
您可以这样做，但是您会有效地将数据拆分到各种作业中。因此，您不仅会承担现在需要了解跨多个作业的吞吐量以有效地自动缩放的成本，而且您会使其完成任何有状态的处理都会导致 incorrect/inconsistent 结果。