hadoop 及其技术设置
hadoop and its technologies setup
为了研究项目需求,我选择了以下技术,因为数据来源是SQL SERVER
初始数据大小为 100Gb 和 10 growth@quarter
信息
Hadoop – 多节点集群(1Namenode + 3 DataNode)
Hadoop 3.1.2,
阿帕奇行家 3.6.0
Ubuntu18.04
安巴里
以上设置已准备就绪,剩余项目
Sqoop:1.4.7
蜂巢:2.3.5
奥齐 5.0.0
它们都应该安装在不同的机器上吗?
开发完成后的部署策略是什么?
如果您有可用的硬件,那么是的,为了容错目的,每个主服务都应该在不同的机器上。
意思是,Oozie server、Hive server、Hive metastore 都是独立的。
Sqoop 和 Hive 客户端只是客户端,可以在任何 NodeManager 上
为了研究项目需求,我选择了以下技术,因为数据来源是SQL SERVER
初始数据大小为 100Gb 和 10 growth@quarter
信息
Hadoop – 多节点集群(1Namenode + 3 DataNode)
Hadoop 3.1.2,
阿帕奇行家 3.6.0
Ubuntu18.04
安巴里
以上设置已准备就绪,剩余项目
Sqoop:1.4.7 蜂巢:2.3.5 奥齐 5.0.0
它们都应该安装在不同的机器上吗?
开发完成后的部署策略是什么?
如果您有可用的硬件,那么是的,为了容错目的,每个主服务都应该在不同的机器上。
意思是,Oozie server、Hive server、Hive metastore 都是独立的。
Sqoop 和 Hive 客户端只是客户端,可以在任何 NodeManager 上