在 HDP 集群上安装 Snappy

Question

我有一个使用 Hortonworks Data Platform 2.6.1 构建的 HBase 集群。现在我需要对 HBase 表应用 Snappy 压缩。

在没有安装 Snappy 的情况下，我执行了压缩测试并获得了成功输出。我使用了以下命令。

hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/test.txt snappy

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://hbase.primary.namenode:8020/tmp/test1.txt snappy

两个命令的响应均低于此值。

2017-10-30 11:25:18,454 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:18,671 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:18,679 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:21,560 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:22,366 INFO  [main] compress.CodecPool: Got brand-new decompressor [.snappy]
SUCCESS

我也在路径 /usr/hdp/2.6.1.0-129/hadoop/lib/native/ 中看到以下库。

libhadoop.a 
libhadooppipes.a 
libhadoop.so 
libhadoop.so.1.0.0 
libhadooputils.a 
libhdfs.a 
libsnappy.so 
libsnappy.so.1 
libsnappy.so.1.1.4

HDP 默认支持 snappy 压缩吗？

如果可以，我可以在不安装 Snappy 的情况下压缩 HBase 表吗？

Answer 1

Without installing Snappy, I executed the Compression Test and I got a success output.

Ambari 在集群安装期间安装了它，所以是的，这些命令正在运行

Does HDP support snappy compression by default?

是的，HDP-UTILS 存储库提供了 snappy 库。

can I compress the HBase tables without installing Snappy?

Hbase提供了其他的压缩算法，所以是

在 HDP 集群上安装 Snappy

Installing Snappy on a HDP Cluster

compression

hadoop

hbase

snappy

hortonworks-data-platform