如何更改hadoop distcp暂存目录
How to change hadoop distcp staging directory
当我 运行 命令
hadoop distcp -update hdfs://path/to/a/file.txt hdfs://path/to/b/
我得到一个 Java IOException:
java.io.IOException: Mkdirs failed to create /some/.staging/directory
但是，我不想将“/some/file/path”用作临时暂存目录，如何将其更改为我想要的其他目录？
它通过 yarn.app.mapreduce.am.staging-dir 控制（在我的安装中默认为 /user）。
当我 运行 命令
hadoop distcp -update hdfs://path/to/a/file.txt hdfs://path/to/b/
我得到一个 Java IOException:
java.io.IOException: Mkdirs failed to create /some/.staging/directory
但是，我不想将“/some/file/path”用作临时暂存目录，如何将其更改为我想要的其他目录？
它通过 yarn.app.mapreduce.am.staging-dir 控制（在我的安装中默认为 /user）。