运行 Map/Reduce 关于非并行问题?
Run Map/Reduce on non-parallelized problems?
我已经阅读了大量有关 Map Reduce 的资料,但我遇到了以下问题,但我似乎找不到答案:
- 你能运行 Map/Reduce 解决非并行问题吗?
当然可以。有很多应用程序可以 运行 使用 map-reduce 框架。例如 Qubole
。如果你提交简单的 shell 命令,比如 "java -version"
,Qubole
启动 map-reduce 作业,运行 你的命令在映射器上。自己检查一下。 在这种情况下,map-reduce 框架会为资源管理、任务协调、重试、日志记录、监控状态等烦恼
同样,如果您尝试使用 --m1 参数执行 sqoop import
,它将查询源数据库并使用单个映射器将数据加载到 hdfs 中,而不会拆分。在这种情况下,MapReduce 将无助于并行化,但它会决定 运行 它的位置、重试、记录等,您可以使用相同的 hadoop 作业或 yarn 命令终止作业。
我已经阅读了大量有关 Map Reduce 的资料,但我遇到了以下问题,但我似乎找不到答案:
- 你能运行 Map/Reduce 解决非并行问题吗?
当然可以。有很多应用程序可以 运行 使用 map-reduce 框架。例如 Qubole
。如果你提交简单的 shell 命令,比如 "java -version"
,Qubole
启动 map-reduce 作业,运行 你的命令在映射器上。自己检查一下。 在这种情况下,map-reduce 框架会为资源管理、任务协调、重试、日志记录、监控状态等烦恼
同样,如果您尝试使用 --m1 参数执行 sqoop import
,它将查询源数据库并使用单个映射器将数据加载到 hdfs 中,而不会拆分。在这种情况下,MapReduce 将无助于并行化,但它会决定 运行 它的位置、重试、记录等,您可以使用相同的 hadoop 作业或 yarn 命令终止作业。