运行 copyFromLocal 命令时如何更改复制因子?
How to change replication factor while running copyFromLocal command?
我不是在问如何在 hadoop 中为 folder/file 设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。
hadoop fs -setrep -R -w 3 <folder-path>
我在问,如何设置复制因子,而不是默认值(在我的场景中是 4),同时从本地复制数据。我正在 运行ning 执行命令,
hadoop fs -copyFromLocal <src> <dest>
当我 运行 以上命令时,它将数据从 src
复制到 dest
路径,复制因子为 4。但我想将复制因子设为 1
在复制数据时,但在复制完成后不会。基本上我想要这样的东西,
hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>
我试过了,没用。那么,可以做到吗?或者我首先使用复制因子 4 复制数据,然后使用 运行 setrep
命令?
根据 this post and this post(两者都提出了不同的问题),这个命令似乎有效:
hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>
-D option表示"Use value for given property."
我不是在问如何在 hadoop 中为 folder/file 设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。
hadoop fs -setrep -R -w 3 <folder-path>
我在问,如何设置复制因子,而不是默认值(在我的场景中是 4),同时从本地复制数据。我正在 运行ning 执行命令,
hadoop fs -copyFromLocal <src> <dest>
当我 运行 以上命令时,它将数据从 src
复制到 dest
路径,复制因子为 4。但我想将复制因子设为 1
在复制数据时,但在复制完成后不会。基本上我想要这样的东西,
hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>
我试过了,没用。那么,可以做到吗?或者我首先使用复制因子 4 复制数据,然后使用 运行 setrep
命令?
根据 this post and this post(两者都提出了不同的问题),这个命令似乎有效:
hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>
-D option表示"Use value for given property."