非常 S3 Hadoop 2.8.0

Flink S3 Hadoop 2.8.0

我们尝试将 S3 用于 Flink 后端状态和检查点,并在法兰克福使用了一个存储桶(V4 身份验证)它给出了我在此处发布的错误 (),这是由于 hadoop。然而 hadoop 2.8.0 可以工作,但还没有 Flink 支持。

猜猜我的问题是Flink什么时候会提供基于hadoop 2.8.0的版本?

一旦 Hadoop 版本发布,Flink 可能会提供 Hadoop 2.8.0 版本。

同时,您可以使用自定义 Hadoop 版本自行构建 Flink:

mvn clean install -DskipTests -Dhadoop.version=2.8.0

Hadoop 2.7.x 确实适用于 Frankfurt 和 v4 API 端点。如果您遇到问题,请检查您的 joda-time 版本,因为旧的 joda-time JAR 和 Java 版本的奇怪组合导致 AWS 获得格式错误的时间戳,然后它在无处不在的 "bad auth" 消息。