在 Dataproc 的集群中查找 Hadoop 流 jar
Finding the Hadoop streaming jar in cluster in Dataproc
所以我想运行一个Python Dataproc集群上的map reduce作业,问题是我找不到需要提交到Main的Hadoop streaming jar文件class 或 jar 输入。
我在 Hadoop 2.7 中使用 Dataproc 图像,Hadoop 2.8 的答案也可以。
谢谢
Dataproc 集群节点上 /usr/lib/hadoop-mapreduce/
文件夹中的 Hadoop Streaming jar:/usr/lib/hadoop-mapreduce/hadoop-streaming.jar
所以我想运行一个Python Dataproc集群上的map reduce作业,问题是我找不到需要提交到Main的Hadoop streaming jar文件class 或 jar 输入。
我在 Hadoop 2.7 中使用 Dataproc 图像,Hadoop 2.8 的答案也可以。
谢谢
Dataproc 集群节点上 /usr/lib/hadoop-mapreduce/
文件夹中的 Hadoop Streaming jar:/usr/lib/hadoop-mapreduce/hadoop-streaming.jar