如何在 aws emr 中将 ec2-user 添加到 hadoop
how to add ec2-user to hadoop in aws emr
我是 aws emr 的新手，想添加新用户并在 hadoop 中创建一些目录。
所以我正在为创建目录做些什么。
登录hadoop机器
ssh hadoop@(publicIP)
hadoop fs -mkdir /user
hadoop fs -mkdir /user/tomcat/
hadoop fs -chmod 777 /
hadoop fs -chmod 777 /tomcat
我想使用 aws-cli 或将此方法添加到 EMR-bootstrap。
您可以在 shell 脚本中编写生成目录的命令，并将该脚本添加为一个步骤。您可以在启动集群时执行此操作：
aws emr create-cluster --name "Test cluster" --ami-version 3.10 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]
或在启动集群后将其添加为作业流程中的第一步：
aws emr add-steps --cluster-id <<$clusterId>> --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"
我是 aws emr 的新手，想添加新用户并在 hadoop 中创建一些目录。
所以我正在为创建目录做些什么。
登录hadoop机器
ssh hadoop@(publicIP)
hadoop fs -mkdir /user
hadoop fs -mkdir /user/tomcat/
hadoop fs -chmod 777 /
hadoop fs -chmod 777 /tomcat
我想使用 aws-cli 或将此方法添加到 EMR-bootstrap。
您可以在 shell 脚本中编写生成目录的命令，并将该脚本添加为一个步骤。您可以在启动集群时执行此操作：
aws emr create-cluster --name "Test cluster" --ami-version 3.10 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]
或在启动集群后将其添加为作业流程中的第一步：
aws emr add-steps --cluster-id <<$clusterId>> --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"