Hadoop MapReduce 集群模拟器
Cluster simulator for Hadoop MapReduce
我正在寻找一个集群模拟器来测试我的 Hadoop MapReduce Java 应用程序（Driver、Mappers、Reducers，...）。
有什么东西可以模拟HDFS，执行各个虚拟节点的任务？
我对性能不太感兴趣，我有一个 Intel Core i7 和 16GB RAM，也许这足以模拟一个小型集群。
有多种方法可以模拟您的集群。
Hortonworks 或 cloudera docker image ，您可以在代码中生成并连接到它。
运行 本地MR通过设置
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");
参见集成测试：http://bytepadding.com/big-data/map-reduce/word-count-map-reduce/
使用 hbase-testing-util 生成 HDFS 服务，HBASE 作为线程，并且本地 运行。
http://bytepadding.com/big-data/hbase/hbase-readwrite-from-map-reduce/
我正在寻找一个集群模拟器来测试我的 Hadoop MapReduce Java 应用程序（Driver、Mappers、Reducers，...）。
有什么东西可以模拟HDFS，执行各个虚拟节点的任务？
我对性能不太感兴趣，我有一个 Intel Core i7 和 16GB RAM，也许这足以模拟一个小型集群。
有多种方法可以模拟您的集群。
Hortonworks 或 cloudera docker image ，您可以在代码中生成并连接到它。
运行 本地MR通过设置 conf.set("fs.default.name", "file:///"); conf.set("mapred.job.tracker", "local");
参见集成测试：http://bytepadding.com/big-data/map-reduce/word-count-map-reduce/
使用 hbase-testing-util 生成 HDFS 服务，HBASE 作为线程，并且本地 运行。
http://bytepadding.com/big-data/hbase/hbase-readwrite-from-map-reduce/