在 Dataproc 的集群中查找 Hadoop 流 jar

Finding the Hadoop streaming jar in cluster in Dataproc

所以我想运行一个Python Dataproc集群上的map reduce作业,问题是我找不到需要提交到Main的Hadoop streaming jar文件class 或 jar 输入。

我在 Hadoop 2.7 中使用 Dataproc 图像,Hadoop 2.8 的答案也可以。

谢谢

Dataproc 集群节点上 /usr/lib/hadoop-mapreduce/ 文件夹中的 Hadoop Streaming jar:/usr/lib/hadoop-mapreduce/hadoop-streaming.jar