Hadoop 3：如何配置/启用纠删码？
Hadoop 3 : how to configure / enable erasure coding?
我正在尝试设置 Hadoop 3 集群。
关于纠删码功能的两个问题：
- 如何确保启用纠删码？
- 我还需要将复制因子设置为 3 吗？
请指出与擦除相关的配置属性 coding/replication，以获得与 Hadoop 2（复制因子 3）相同的数据安全性，但具有 Hadoop 3 擦除的磁盘 space 优势编码（只有 50% 的开销而不是 200%）。
在 Hadoop3 中，我们可以对 HDFS 中的任何 folder 启用纠删码策略。默认情况下，Hadoop3 中不启用纠删码，您可以使用 setPolicy 命令并指定所需的文件夹路径来启用它。
1: 要确保启用纠删码，您可以运行 getPolicy 命令。
2: 在 Hadoop3 中，复制因子设置将仅影响未通过纠删码 setPolicy 配置的其他文件夹。您可以在单个集群中同时使用纠删码和复制因子设置。
列出支持的擦除策略的命令：
./bin/hdfs ec -listPolicies
启用 XOR-2-1-1024k 擦除策略的命令：
./bin/hdfs ec -enablePolicy -policy XOR-2-1-1024k
将擦除策略设置为 HDFS 目录的命令：
./bin/hdfs ec -setPolicy -path /tmp -policy XOR-2-1-1024k
获取给定目录的策略集的命令：
./bin/hdfs ec -getPolicy -path /tmp
从 directory.i.e 取消设置策略中删除策略的命令：
./bin/hdfs ec -unsetPolicy -path /tmp
禁用策略的命令：
./bin/hdfs ec -disablePolicy -policy XOR-2-1-1024k
我正在尝试设置 Hadoop 3 集群。
关于纠删码功能的两个问题：
- 如何确保启用纠删码？
- 我还需要将复制因子设置为 3 吗？
请指出与擦除相关的配置属性 coding/replication，以获得与 Hadoop 2（复制因子 3）相同的数据安全性，但具有 Hadoop 3 擦除的磁盘 space 优势编码（只有 50% 的开销而不是 200%）。
在 Hadoop3 中，我们可以对 HDFS 中的任何 folder 启用纠删码策略。默认情况下，Hadoop3 中不启用纠删码，您可以使用 setPolicy 命令并指定所需的文件夹路径来启用它。
1: 要确保启用纠删码，您可以运行 getPolicy 命令。
2: 在 Hadoop3 中，复制因子设置将仅影响未通过纠删码 setPolicy 配置的其他文件夹。您可以在单个集群中同时使用纠删码和复制因子设置。
列出支持的擦除策略的命令：
./bin/hdfs ec -listPolicies
启用 XOR-2-1-1024k 擦除策略的命令：
./bin/hdfs ec -enablePolicy -policy XOR-2-1-1024k
将擦除策略设置为 HDFS 目录的命令：
./bin/hdfs ec -setPolicy -path /tmp -policy XOR-2-1-1024k
获取给定目录的策略集的命令：
./bin/hdfs ec -getPolicy -path /tmp
从 directory.i.e 取消设置策略中删除策略的命令：
./bin/hdfs ec -unsetPolicy -path /tmp
禁用策略的命令：
./bin/hdfs ec -disablePolicy -policy XOR-2-1-1024k