如何将hadoop与zookeeper和hbase集成
How to integrate hadoop with zookeeper and hbase
我已经建立了Hadoop 2.6 的单节点集群,但我需要将zookeeper 和hbase 与其集成。
我是一个没有大数据工具经验的初学者。
您如何设置 zookeeper 来协调 hadoop 集群以及我们如何在 hdfs 上使用 hbase?
它们如何结合起来形成一个生态系统?
对于独立模式,只需按照本 HBase 指南中提供的步骤操作即可:http://hbase.apache.org/book.html#quickstart
HBase 有一个独立模式,让初学者很容易上手。在独立模式下,hbase、hdfs 和 zk 在单个 JVM 进程中运行。
这取决于您要构建的系统类型。正如您所说,Hadoop 生态系统是我的三个主要组成部分:HBase、HDFS 和 zookeeper。尽管它们可以彼此独立安装,但有时不需要全部安装,具体取决于您要设置的集群类型。
由于您使用的是单节点集群,因此您可以选择两种HBase 运行模式:独立模式和伪分布式模式。在独立模式下,无需安装 HDFS 或 Zookeeper。 HBase 将以透明的方式做所有事情。如果你想使用伪分布式模式,你可以运行HBase针对本地文件系统或者针对HDFS。如果要使用 HDFS,则必须安装 Hadoop。关于zookeeper,同样,HBase也会自己做这个工作(你只需要通过配置文件告诉他)。
如果你想在伪分布式模式下使用HDFS,下载Hadoop你会得到HDFS和MapReduce。如果您不想执行 MapReduce 作业,请忽略其工具。
如果您想了解更多,我认为本指南解释得很好:https://hbase.apache.org/book.html(检查 HBase 运行 模式)。
我已经建立了Hadoop 2.6 的单节点集群,但我需要将zookeeper 和hbase 与其集成。 我是一个没有大数据工具经验的初学者。 您如何设置 zookeeper 来协调 hadoop 集群以及我们如何在 hdfs 上使用 hbase? 它们如何结合起来形成一个生态系统?
对于独立模式,只需按照本 HBase 指南中提供的步骤操作即可:http://hbase.apache.org/book.html#quickstart
HBase 有一个独立模式,让初学者很容易上手。在独立模式下,hbase、hdfs 和 zk 在单个 JVM 进程中运行。
这取决于您要构建的系统类型。正如您所说,Hadoop 生态系统是我的三个主要组成部分:HBase、HDFS 和 zookeeper。尽管它们可以彼此独立安装,但有时不需要全部安装,具体取决于您要设置的集群类型。
由于您使用的是单节点集群,因此您可以选择两种HBase 运行模式:独立模式和伪分布式模式。在独立模式下,无需安装 HDFS 或 Zookeeper。 HBase 将以透明的方式做所有事情。如果你想使用伪分布式模式,你可以运行HBase针对本地文件系统或者针对HDFS。如果要使用 HDFS,则必须安装 Hadoop。关于zookeeper,同样,HBase也会自己做这个工作(你只需要通过配置文件告诉他)。
如果你想在伪分布式模式下使用HDFS,下载Hadoop你会得到HDFS和MapReduce。如果您不想执行 MapReduce 作业,请忽略其工具。
如果您想了解更多,我认为本指南解释得很好:https://hbase.apache.org/book.html(检查 HBase 运行 模式)。