Apache Flink 写入 MapR 文件系统

Question

我目前的环境是运行 Apache Flink 1.2.0，正在使用BucketingSink 将数据写入hadoop 文件系统。我可以使用 file:/// 和 hdfs:/// 文件系统协议毫无问题地写入数据。在 Hortonworks 沙盒中测试。但是当我切换到在 MapR 沙箱中使用 maprfs:/// 协议写入时，它说

No FileSystem for scheme: maprfs
  Caused by: java.io.IOException: No FileSystem for scheme: maprfs
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
    at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:92)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)

我需要了解我需要将哪些配置添加到我的 Flink 应用程序中才能写入 maprfs。在我的 MapR 集群中，core-site.xml 和 hdfs-site.xml 是空的，因此，我没有复制到我的 $FLINK_CONF_DIR.

Answer 1

您的类路径中首先需要 mapr 的 hadoop.jar。它通常位于 /opt/mapr/...

的某个地方

Answer 2

现在有一个documentation page on how to set up Flink for Mapr

Apache Flink 写入 MapR 文件系统

Apache Flink Writing to MapR filesystem

apache-flink

flink-streaming