无法为高可用存储创建文件系统

Question

我有三个物理节点，每个节点上都安装了 docker。我在每个 docker 上配置了 Mesos、Marathon、Zookeeper、Hadoop 和 Flink。我可以运行 Mesos、Marathon、Zookeeper 和 hadoop 没有任何问题；我还在 hdfs 中创建了一个文件夹 flink。顺便说一下，我配置了高可用 hadoop 集群和运行没有任何问题。但是当我在 Marathon 上使用这个 JSON 文件来运行 flink 时，我在 Mesos UI 中收到失败的任务。错误如下：

Shutting MesosSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOException: Could not create FileSystem for highly available storage (high-availability.storageDir)

我的flink配置是这样的：

env.java.home: /opt/java
jobmanager.rpc.address: 10.32.0.1
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/ 
high-availability.zookeeper.quorum: 10.32.0.1:2181,10.32.0.2:2181
recovery.zookeeper.path.mesos-workers: /mesos-workers
mesos.master: 10.32.0.1:5050,10.32.0.2:5050

你能告诉我如何解决这个问题吗？ flink必须连接mesos吗？

提前谢谢你。

Answer 1

使用此配置解决的问题：

jobmanager.rpc.address: localhost
high-availability.zookeeper.quorum: 
 10.32.0.1:2181,10.32.0.2:2181,10.32.0.3:2181
mesos.master: 10.32.0.1:5050,10.32.0.2:5050,10.32.0.3:5050

无法为高可用存储创建文件系统

Could not create FileSystem for highly available storage

docker

hadoop

apache-flink

mesos

marathon