hadoop 及其技术设置

hadoop and its technologies setup

为了研究项目需求,我选择了以下技术,因为数据来源是SQL SERVER

初始数据大小为 100Gb 和 10 growth@quarter

信息

Hadoop – 多节点集群(1Namenode + 3 DataNode) Hadoop 3.1.2,
阿帕奇行家 3.6.0
Ubuntu18.04
安巴里

以上设置已准备就绪,剩余项目

Sqoop:1.4.7 蜂巢:2.3.5 奥齐 5.0.0

它们都应该安装在不同的机器上吗?
开发完成后的部署策略是什么?

如果您有可用的硬件,那么是的,为了容错目的,每个主服务都应该在不同的机器上。

意思是,Oozie server、Hive server、Hive metastore 都是独立的。

Sqoop 和 Hive 客户端只是客户端,可以在任何 NodeManager 上