尝试使用 S3 启用 Flink Entropy，但未生成熵密钥

Question

我正在尝试启用 Flink 提供的熵功能，但最后 _entropy_ 没有解决（我的意思是没有生成“密钥”）

我有以下配置：

s3.access-key   my-key
s3.secret-key   ******

s3.entropy.key  _entropy_
s3.entropy.length   8

state.backend   filesystem
state.backend.incremental   true
state.backend.local-recovery    true

state.checkpoints.dir   s3p://<my-bucket>/_entropy_/flink/checkpoints/stage
state.checkpoints.num-retained  2
state.savepoints.dir    s3p://<my-bucket>/flink/savepoints/stage

当我打开我的存储桶时，我看到文件夹 _entropy_ 而不是随机的 8 个字符文件夹。

对于代码中的声明：

env.enableCheckpointing(10000L, CheckpointingMode.EXACTLY_ONCE)
   .getCheckpointConfig()     
   .enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);

PS: 我正在使用 Flink 1.11.2

Answer 1

Flink 1.11.2 中的回归破坏了此功能；这已在 1.11.4 中修复。有关详细信息，请参阅 FLINK-22081。

尝试使用 S3 启用 Flink Entropy，但未生成熵密钥

Trying to enable Flink Entropy with S3, but entropy key is not generated

amazon-s3

apache-flink

flink-streaming