我可以将 flink rocksDB 状态后端与本地文件系统一起使用吗？

Question

我正在探索使用 Flink rocksDb 状态后端，文档似乎暗示我可以使用常规文件系统，例如：file:///data/flink/checkpoints，但是代码 javadoc 在这里只提到了 hdfs 或 s3 选项。

我想知道是否可以在 flink rocksdb 后端使用本地文件系统，谢谢！

Flink 文档：https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

Flink代码：https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175

Answer 1

不，你不应该那样做！

使用此路径，您可以配置 Flink 写入检查点的目录。检查点是应用程序状态的副本，用于在发生故障（例如机器故障）时恢复应用程序状态。该路径必须指向一个持久的远程存储，以便能够在进程被终止或机器死亡的情况下读取检查点。如果将检查点写入失败机器的本地文件系统，您将无法恢复作业和恢复状态。

但是，如果这是也可以从其他计算机挂载的 NFS（或任何其他远程存储）的挂载点，则可以将检查点写入本地路径。