运行 Hadoop MapReduce 在JVM 中最简单的方式是什么,什么都不用安装?
What is the simplest way of running Hadoop MapReduce in the JVM, with nothing to be installed?
我想 运行 JVM 中的 MapReduce 使用多核并使用映射任务输出的外部排序的 Hadoop MapReduce 属性,这有助于我在有限(恒定)内进行有状态处理内存消耗。
我正在寻找一种只需 运行 一个 jar 就可以在任何地方复制的编程方式,因此要么是嵌入式服务器,要么只是 Hadoop MapReduce 的普通单 JVM 版本,因此不需要在计算机上安装任何东西. Docker 也不是一个选项。谢谢
我建议您改用 Spark 或 Flink。很少有人再写纯 mapreduce
在 Spark 中,您可以使用 local[*]
作为 "master",它将使用所有可用的内核
我想 运行 JVM 中的 MapReduce 使用多核并使用映射任务输出的外部排序的 Hadoop MapReduce 属性,这有助于我在有限(恒定)内进行有状态处理内存消耗。 我正在寻找一种只需 运行 一个 jar 就可以在任何地方复制的编程方式,因此要么是嵌入式服务器,要么只是 Hadoop MapReduce 的普通单 JVM 版本,因此不需要在计算机上安装任何东西. Docker 也不是一个选项。谢谢
我建议您改用 Spark 或 Flink。很少有人再写纯 mapreduce
在 Spark 中,您可以使用 local[*]
作为 "master",它将使用所有可用的内核