在 Java Map reduce 中读取 snappy 文件
reading snappy file in Java Map reduce
我们能否在不使用自定义输入的情况下使用 snappy 文件作为 Map reduce 应用程序的输入文件Class?
我找不到关于此的任何信息。
此致,
尼什
是的,你可以这样做,但你可能必须先解压缩文件才能使用它。
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(SnappyCodec.class, new Configuration());
创建编解码器实例后,调用createInputStream 并传递hadoop 路径。
codec.createInputStream
我们能否在不使用自定义输入的情况下使用 snappy 文件作为 Map reduce 应用程序的输入文件Class?
我找不到关于此的任何信息。
此致, 尼什
是的,你可以这样做,但你可能必须先解压缩文件才能使用它。
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(SnappyCodec.class, new Configuration());
创建编解码器实例后,调用createInputStream 并传递hadoop 路径。 codec.createInputStream