如何使用 spring 数据模拟 hdfs 操作

Question

我是 spring data-hadoop 的新手，想问一个一般性问题。我有不同格式的文件，想用 Apache Tika 提取有用的内容并将其作为文本文件存储在 HDFS 中。我已经阅读了 spring data-hadoop(http://docs.spring.io/spring-hadoop/docs/2.0.0.RELEASE/reference/html/store.html) 的参考文档，但不明白如何去做。我没有找到任何其他有用的资源。

是否有使用 spring data-hadoop 将数据写入 HDFS 的示例项目或资源？

Answer 1

Risberg 的评论中的一个有用示例：-

https://github.com/trisberg/springone-2015/tree/master/boot-ingest

DataWriter 接口的 TextFileWriter 实现的另一个代码片段：-

   //build naming strategy
             ChainedFileNamingStrategy namingStrategy = 
      new ChainedFileNamingStrategy( 
            Arrays.asList(new FileNamingStrategy[] { 
                new StaticFileNamingStrategy("document"),
                         new UuidFileNamingStrategy(someUUID),
                          new StaticFileNamingStrategy("txt", ".") }));
        //set the naming strategy 
            textFileWriter.setFileNamingStrategy(namingStrategy);
            textFileWriter.write("this is a test content");
       //flush and close the writer
            textFileWriter.flush();
            textFileWriter.close();

如何使用 spring 数据模拟 hdfs 操作

How to simulate hdfs operations using spring data

spring

hadoop

spring-data

spring-data-hadoop