如何将我的 Hbase Table(很大)分成相等的部分,以便我可以将它存储到本地文件系统中?

How do I split my Hbase Table(which is huge) into equal parts so that I can store it into local file system?

我有一个大小为 53 GB 的 Hbase Table,我想将其存储到我的本地文件系统中。但是我只有两个大小为 30gb 的驱动器,我无法将文件完全存储到一个驱动器中。谁能告诉我如何将我的 Hbase table 拆分并存储到这两个驱动器中。非常感谢任何建议或意见。有一种紧迫感:(

注意:如果有人可以建议我是否可以根据时间戳拆分 table,将不胜感激。希望很快收到你的来信。

谢谢, 高瑟姆

我建议 运行 一个具有完整 table 扫描和 setTimerange 的 mapreduce 作业,如果想按时间戳拆分它,并将输出存储为例如 Avro 文件。然后你就可以把这些文件放在不同的分区上了。

This 也有帮助。

祝你好运。

53gb的hbase数据真的很小。如果您预拆分 table,您的数据也将拆分为文件系统中的单独文件。我假设您只有一个节点和一个区域服务器。

此外,如果您有两个节点,一个 30 GB 驱动器和两个区域服务器,并且如果您将 table 预先拆分为两个,那么如果您的拆分点合适,您的数据将自动拆分为两个。