Hadoop:如何开始我的第一个项目

Hadoop : how to start my first project

我开始使用 Hadoop,但不知道在哪里以及如何使用。我正在研究 OS X,我按照一些教程安装 Hadoop,它已经完成并且可以正常工作,但现在我不知道该怎么做。

是否有 IDE 可以安装(也许是 eclipse)?我找到了一些代码,但没有任何效果,我不知道我必须在我的项目中添加什么等等...

你能给我一些信息或指导我完成教程吗?

如果您想学习 Hadoop 框架,那么我建议您先在 OSX 系统上安装 Cloudera QuickStart 虚拟机,前提是您的系统具备所有先决条件:

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

Cloudera QuickStart 虚拟机包括尝试 Hadoop、MapReduce、Hive、Pig、Impala 等以及 Eclipse IDE 所需的一切。

如果您有兴趣从事 Hadoop 开发人员的职业,以上内容将是完美的,但是,如果您对 Hadoop 系统管理员感兴趣,请遵循@Alvaro 的建议。

然后是 Udacity 上的 Hadoop 和 MapReduce 介绍课程,这对初学者来说是一个好的开始: https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617

Hadoop:Tom White 的权威指南可能是一本非常全面的书,可供参考:http://shop.oreilly.com/product/0636920033448.do

我建议您在虚拟机上安装 Cloudera 伪分布式示例,最新的 LTS Ubuntu。这样,您就不会弄乱笔记本电脑,而且它的环境更接近于您在生产环境中所做的任何事情。你检查过vagrantup.com了吗?

安装后,您可以选择直接在 Java 上工作,或者选择像 MrJob (python) 这样的框架来执行一些自定义程序。

最好的, 阿尔瓦罗.