如何在 flink 的任何条件下增加最大并行度?
how to increase max parallelism in any condition in flink?
我只是想知道在产品上部署后有什么办法可以增加 setMaxParallelism
在 flink 作业中?
如何setMaxParallelism
增加当前默认为 128 的数字。
目前,我在增加这个数字后出现错误。
Caused by: java.lang.IllegalStateException: Failed to rollback to checkpoint/savepoint Checkpoint Metadata (version=2).
Max parallelism mismatch between checkpoint/savepoint state and new program.
Cannot map operator cbc357ccb763df2852fee8c4fc7d55f2 with max parallelism 128 to new program with max parallelism 960.
This indicates that the program has been changed in a non-compatible way after the checkpoint/savepoint.
那么有什么方法可以在任何情况下增加它吗?如果我丢失了一些数据,我不关心 checkpoints/savepoints。
您可以更改最大并行度,但您将无法从之前设置到位时创建的检查点或保存点重新启动。
如果您确实想迁移状态而不是删除它,您可以使用状态处理器API相应地修改保存点。
我只是想知道在产品上部署后有什么办法可以增加 setMaxParallelism
在 flink 作业中?
如何setMaxParallelism
增加当前默认为 128 的数字。
目前,我在增加这个数字后出现错误。
Caused by: java.lang.IllegalStateException: Failed to rollback to checkpoint/savepoint Checkpoint Metadata (version=2).
Max parallelism mismatch between checkpoint/savepoint state and new program.
Cannot map operator cbc357ccb763df2852fee8c4fc7d55f2 with max parallelism 128 to new program with max parallelism 960.
This indicates that the program has been changed in a non-compatible way after the checkpoint/savepoint.
那么有什么方法可以在任何情况下增加它吗?如果我丢失了一些数据,我不关心 checkpoints/savepoints。
您可以更改最大并行度,但您将无法从之前设置到位时创建的检查点或保存点重新启动。
如果您确实想迁移状态而不是删除它,您可以使用状态处理器API相应地修改保存点。