建立在 HDFS 之上的 Apache HAWQ 安装

Question

我想安装基于Hadoop的Apache HAWQ。

在安装 HAWQ 之前，我应该安装 Hadoop 并配置我所有的节点。

我有如下四个节点，我的问题是这样。

我应该为 hawq-master 安装一个 hadoop 发行版吗？

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

我把每个节点的作用写在了上面的节点旁边。在我看来，我应该为 hadoop-master、datanode01 和 datanode02 安装 hadoop，我应该将 hadoop-master 设置为 namenode（master），将其他设置为 datanode （奴隶）。然后，我将在所有节点上安装 apache HAWQ。我将 hawq-master 设置为主节点，hadoop-master 设置为 HAWQ Stand by，最后将其他两个节点设置为 HAWQ 段。

我想要的是安装基于Hadoop的HAWQ。所以，我认为 hawq-master 应该建立在 hadoop 之上，但与 hadoop-master.

没有任何联系

如果我继续上述过程，那么我认为我不必在 hawq-master 上安装 hadoop 发行版。基于hadoop的HAWQ安装我的想法是否正确？

如果 hadoop 应该安装在 hawq-master 那么哪个是正确的？

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

如有任何帮助，我们将不胜感激。

Answer 1

老实说，如果配置正确，hadoop和hawq的安装方式并没有严格的限制。

为了您的关心，"I think the hawq-master should be built on top of hadoop, but there are no connection with hadoop-master"。 IMO，应该是 "hawq should be built on top of hadoop"。我们配置了 hawq-master conf 文件（hawq-site.xml）使 hawq 与 hadoop 建立连接。

通常，对于hawq master和hadoop master，我们可以将每个组件安装在一个节点上，但为了节省节点，我们可以在一个节点上安装其中的一些组件。但是对于HDFS datanode和HAWQ segment，我们往往是一起安装的。考虑到每台机器的工作量，我们可以按如下方式安装它们：

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

如果你用yarn integration配置hawq，集群中会有resourcemanager和nodemanager。

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们有连接，是您的配置文件使它们可以相互访问。您可以将所有主组件安装在一起，但对于机器来说可能太重了。在 http://incubator.apache.org/projects/hawq.html and read some docs at http://hdb.docs.pivotal.io/211/hdb/index.html 阅读有关 Apache HAWQ 的更多信息。

此外，您可以订阅开发者和用户邮件列表，发送邮件至dev-subscribe@hawq.incubator.apache.org / user-subscribe@hawq.incubator.apache.org订阅并发送邮件给开发者@hawq.incubator.apache.org / user@hawq.incubator.apache.org 提问。

建立在 HDFS 之上的 Apache HAWQ 安装

Apache HAWQ installation built on top of HDFS

hadoop

hawq