Flink 动态伸缩 1.5
Flink dynamic scaling 1.5
这是关于 Flink 1.5 中的动态缩放
我将 Yarn 用于 运行 Flink 作业。我使用静态资源开始这些工作。是否有任何选项可以在特定条件下自行扩展这些作业，例如是否存在内存问题。
Applications can be rescaled without manually triggering a savepoint. Under
the hood, Flink will still take a savepoint, stop the application, and
rescale it to the new parallelism.
这意味着我将不得不监控我的作业内存并且必须手动触发重新缩放。这些是处理此问题的任何解决方法吗？
从 1.5 开始，Flink 不支持你想要的。重新缩放作业的过程是：
- 以并行度
initialParallelism 和最大并行度 maxParallelism 开始作业。
- 手动停止。
- 用
initialParallelism <= parallelism <= maxParallelism 重新运行它。
您仍然需要监控您的应用程序，但可以通过 运行:
轻松完成重新缩放
./bin/flink modify -p <NEW-PARALLELISM>
这是关于 Flink 1.5 中的动态缩放
我将 Yarn 用于 运行 Flink 作业。我使用静态资源开始这些工作。是否有任何选项可以在特定条件下自行扩展这些作业，例如是否存在内存问题。
Applications can be rescaled without manually triggering a savepoint. Under
the hood, Flink will still take a savepoint, stop the application, and
rescale it to the new parallelism.
这意味着我将不得不监控我的作业内存并且必须手动触发重新缩放。这些是处理此问题的任何解决方法吗？
从 1.5 开始，Flink 不支持你想要的。重新缩放作业的过程是：
- 以并行度
initialParallelism和最大并行度maxParallelism开始作业。 - 手动停止。
- 用
initialParallelism <= parallelism <= maxParallelism重新运行它。
您仍然需要监控您的应用程序，但可以通过 运行:
轻松完成重新缩放./bin/flink modify -p <NEW-PARALLELISM>