AWS EMR 中的步骤类型
Step Types in AWS EMR
在 AWS EMR 上查看步骤类型时：
- 我们可以指定 UNIX .sh 脚本作为选项吗？
- 我们还可以 运行 Spark-shell 还是它始终是一个需要 运行 使用 spark-submit 的 JAR？
使用命令-runner.jar.
一个s3DistCp的例子证明了这一点：
- 步骤类型：自定义 JAR
- 名称*：S3DistCp 步骤
- JAR 位置：命令-runner.jar
- 参数：s3-dist-cp --src
s3://my-tables/incoming/hourly_table --dest /data/input/hourly_table
--targetSize 10 --groupBy ./hourly_table/.(2017-)./(\d\d)/..(日志)
- 失败操作：继续
在 AWS EMR 上查看步骤类型时：
- 我们可以指定 UNIX .sh 脚本作为选项吗？
- 我们还可以 运行 Spark-shell 还是它始终是一个需要 运行 使用 spark-submit 的 JAR？
使用命令-runner.jar.
一个s3DistCp的例子证明了这一点：
- 步骤类型：自定义 JAR
- 名称*：S3DistCp 步骤
- JAR 位置：命令-runner.jar
- 参数：s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest /data/input/hourly_table --targetSize 10 --groupBy ./hourly_table/.(2017-)./(\d\d)/..(日志)
- 失败操作：继续