hbase真的是线性扩展的吗?
Does hbase really scales linearly?
开始学习hbase,不明白它是如何线性扩展的
问题是在你安装hbase之前你必须有一个hdfs集群。 HDFS集群有一个master节点,在整个集群中只能是一个,所以是一个瓶颈。当然我们可以运行多1个master节点(有可能运行只多1个master节点)但是会处于standby状态。
据我了解,hbase 使用 HDFS 集群来存储数据。所以,对我来说,逻辑上 运行 多个 Hmaster 是没有意义的,因为所有请求都将转到 hdfs 活动主机,如果我们有太多请求,性能会受到影响。
我也不太明白我们是否需要在与 hdfs 相同的节点上或单独安装 hbase。如果我们 运行 hbase 与 HDFS 分开有什么好处。
对于我来说,在具有 hdfs 的相同节点上安装 hbase 集群在逻辑上是合乎逻辑的,如下例所示:
HDFS active master - HMaster
HDFS standby master - HMaster backup
HDFS Data node - HRegion server
对我来说,这是最合乎逻辑的结构,因为如果我们将 hdfs master 与 hmaster 分开,那么松散 hbase 集群的可能性将增加两倍。
如果有人可以分享所有这些东西的信息,我将非常高兴。因为我真的不明白hbase是如何线性扩展的,以及它是如何与hdfs一起工作的。
首先,如果您愿意,可以在任何受支持的文件系统上安装 HBase。在 Hdfs 上使用它不是强制性的,但与 Hdfs 一起使用它可以像
故障Taulrence,数据复制,校验和等。
这就是为什么建议使用 HBase 而不是 hdfs
此外,虽然hdfs中的namenode存在瓶颈,但并不影响HBase的效率,因为并不是每个操作内部工作都依赖于hdfs的namenode,例如Region服务器为读写提供数据。在访问数据时,客户端直接与 HBase RegionServers 通信,而 Region 分配、DDL(创建、删除 tables)操作由 HBase Master 进程处理。这意味着数据的读取和写入与 table.
的创建和删除无关
您可以参考 https://www.mapr.com/blog/in-depth-look-hbase-architecture 了解更多有关 hdfs 的详细信息。
另请参阅 lars george 举办的关于 HBase 的网络研讨会。 https://m.youtube.com/watch?v=_HLoH_PgrLk
希望这会消除您的疑虑。
开始学习hbase,不明白它是如何线性扩展的
问题是在你安装hbase之前你必须有一个hdfs集群。 HDFS集群有一个master节点,在整个集群中只能是一个,所以是一个瓶颈。当然我们可以运行多1个master节点(有可能运行只多1个master节点)但是会处于standby状态。 据我了解,hbase 使用 HDFS 集群来存储数据。所以,对我来说,逻辑上 运行 多个 Hmaster 是没有意义的,因为所有请求都将转到 hdfs 活动主机,如果我们有太多请求,性能会受到影响。
我也不太明白我们是否需要在与 hdfs 相同的节点上或单独安装 hbase。如果我们 运行 hbase 与 HDFS 分开有什么好处。 对于我来说,在具有 hdfs 的相同节点上安装 hbase 集群在逻辑上是合乎逻辑的,如下例所示:
HDFS active master - HMaster
HDFS standby master - HMaster backup
HDFS Data node - HRegion server
对我来说,这是最合乎逻辑的结构,因为如果我们将 hdfs master 与 hmaster 分开,那么松散 hbase 集群的可能性将增加两倍。
如果有人可以分享所有这些东西的信息,我将非常高兴。因为我真的不明白hbase是如何线性扩展的,以及它是如何与hdfs一起工作的。
首先,如果您愿意,可以在任何受支持的文件系统上安装 HBase。在 Hdfs 上使用它不是强制性的,但与 Hdfs 一起使用它可以像 故障Taulrence,数据复制,校验和等。 这就是为什么建议使用 HBase 而不是 hdfs
此外,虽然hdfs中的namenode存在瓶颈,但并不影响HBase的效率,因为并不是每个操作内部工作都依赖于hdfs的namenode,例如Region服务器为读写提供数据。在访问数据时,客户端直接与 HBase RegionServers 通信,而 Region 分配、DDL(创建、删除 tables)操作由 HBase Master 进程处理。这意味着数据的读取和写入与 table.
的创建和删除无关您可以参考 https://www.mapr.com/blog/in-depth-look-hbase-architecture 了解更多有关 hdfs 的详细信息。
另请参阅 lars george 举办的关于 HBase 的网络研讨会。 https://m.youtube.com/watch?v=_HLoH_PgrLk
希望这会消除您的疑虑。