/home/hadoop/bin/hadoop ami 中缺少 4.x
/home/hadoop/bin/hadoop missing in ami 4.x
我正在尝试将使用 ami 3.x 的旧 mapreduce 管道迁移到 ami 4.x。它目前有 bash 个脚本作为引导程序的一部分，其中之一调用 hadoop fs-get s3n://somefile ~/otherfile。这在我当前迁移到 ami 4.x 的尝试中失败了。添加 ls /home/hadoop/bin 脚本显示目录 /home/hadoop/bin 不存在，因此当然二进制文件 /home/hadoop/bin/hadoop 将不存在。我需要配置什么来确保 hadoop 二进制文件存在吗？我似乎在文档中找不到任何明显的内容。
文件系统布局在 3.x 和 4.x 之间发生了显着变化。 3.x 和 4.x 之间的区别和迁移说明可以在这里找到：http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.1.0/emr-release-differences.html
解决您的问题的简短答案是您应该在 bootstrap 操作中使用 "aws s3 cp" 而不是 "hadoop fs-get"，因为 Hadoop 直到 bootstrap 之后才安装在 4.x+.
上的操作 运行
我正在尝试将使用 ami 3.x 的旧 mapreduce 管道迁移到 ami 4.x。它目前有 bash 个脚本作为引导程序的一部分，其中之一调用 hadoop fs-get s3n://somefile ~/otherfile。这在我当前迁移到 ami 4.x 的尝试中失败了。添加 ls /home/hadoop/bin 脚本显示目录 /home/hadoop/bin 不存在，因此当然二进制文件 /home/hadoop/bin/hadoop 将不存在。我需要配置什么来确保 hadoop 二进制文件存在吗？我似乎在文档中找不到任何明显的内容。
文件系统布局在 3.x 和 4.x 之间发生了显着变化。 3.x 和 4.x 之间的区别和迁移说明可以在这里找到：http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.1.0/emr-release-differences.html
解决您的问题的简短答案是您应该在 bootstrap 操作中使用 "aws s3 cp" 而不是 "hadoop fs-get"，因为 Hadoop 直到 bootstrap 之后才安装在 4.x+.
上的操作 运行