HDFS sink 是否支持写入 Spring XD 中的序列文件?
Does HDFS sink support writing to sequence file in Spring XD?
我想在流处理中使用HDFS sink 将二进制键值对数据写入HDFS。因此,像序列文件这样的薄包装格式就足够了。 HDFS sink模块是否完全支持向HDFS序列文件写入key-value?
提前致谢!
这似乎还有待解决:https://jira.spring.io/browse/XD-992. You can vote up. If you want to contribute, you are welcome. Please refer to Spring XD documentation and https://github.com/spring-projects/spring-xd-modules 获取有关如何开发模块的示例。
此外,仅供参考:有 hdfs-dataset
接收器模块支持 Avro/Parquet 格式。
https://github.com/spring-projects/spring-xd/blob/master/modules/sink/hdfs-dataset/config/hdfs-dataset.xml
我想在流处理中使用HDFS sink 将二进制键值对数据写入HDFS。因此,像序列文件这样的薄包装格式就足够了。 HDFS sink模块是否完全支持向HDFS序列文件写入key-value?
提前致谢!
这似乎还有待解决:https://jira.spring.io/browse/XD-992. You can vote up. If you want to contribute, you are welcome. Please refer to Spring XD documentation and https://github.com/spring-projects/spring-xd-modules 获取有关如何开发模块的示例。
此外,仅供参考:有 hdfs-dataset
接收器模块支持 Avro/Parquet 格式。
https://github.com/spring-projects/spring-xd/blob/master/modules/sink/hdfs-dataset/config/hdfs-dataset.xml