-Dmapred.job.name 不适用于 s3-dist-cp 命令
-Dmapred.job.name does not work with s3-dist-cp command
我想使用 s3-dist-cp 将一些文件从 emr-hdfs 复制到 s3 存储桶，我已经从 "EMR Master Node":
尝试过这个命令
s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/
这个命令执行得很好，但是当我在 yarn 资源管理器 UI 中检查作业名称时，它显示如下：
S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/
然而，预期的工作名称应该是 my_copy_job
感谢您的帮助！
注：
当我 运行 hadoop distcp 使用此选项 -Dmapred.job.name=my_copy_job 时，它会在 yarn RM UI 中正确显示作业名称，但作业最终会失败
s3-dist-cp 不像 hadoop distcp 那样支持在运行时设置的 -D 样式属性。 S3 Distcp 只接受一组有限的选项，如列出的 here. In addition to these options defined by S3DistCp, it accepts the Tool Interface's 个通用选项。
但是JobName不是其中之一。 JobName 在 S3DistCp 代码中是 hardcoded，不能被覆盖。
我想使用 s3-dist-cp 将一些文件从 emr-hdfs 复制到 s3 存储桶，我已经从 "EMR Master Node":
尝试过这个命令s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/
这个命令执行得很好，但是当我在 yarn 资源管理器 UI 中检查作业名称时，它显示如下：
S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/
然而，预期的工作名称应该是 my_copy_job
感谢您的帮助！
注：
当我 运行 hadoop distcp 使用此选项 -Dmapred.job.name=my_copy_job 时，它会在 yarn RM UI 中正确显示作业名称，但作业最终会失败
s3-dist-cp 不像 hadoop distcp 那样支持在运行时设置的 -D 样式属性。 S3 Distcp 只接受一组有限的选项，如列出的 here. In addition to these options defined by S3DistCp, it accepts the Tool Interface's 个通用选项。
但是JobName不是其中之一。 JobName 在 S3DistCp 代码中是 hardcoded，不能被覆盖。