如何在 Cloudera Hue 上执行 C# MapReduce 作业

How can I execute a C# MapReduce job on Cloudera Hue

我是 Hadoop 技术栈的新手,对 .Net 有一点了解,我们在 Azure 服务之上有一个 Cloudera 集群 运行,我想知道我是否可以执行 C# (.Net Standard/Framework/Core) 在我的集群上执行任何任务的 MapReduce 作业。

P.S。我知道这可以为 HDInsight 完成,但我无法找到任何方法让它在 Cloudera/Hue.

上运行

提前致谢。

根据我的经验,如果您想用 C# 或其他不能在 JVM 上运行的语言编写 MapReduce 作业,使用 Hadoop/Cloudera 的唯一方法是通过 Hadoop Streaming。因此,您需要在 Mono C#(.Net Standard)或 dotNet Core C# 中创建两个控制台执行器作为映射器 and/or Cloudera on Linux.

的缩减器

希望对您有所帮助。