我应该使用 PIG 从 HIVE 将数据加载到 HBase 还是有更好的方法?
Should I use PIG to load data into HBase from HIVE or is there a better way?
我必须从 HIVE 将数据加载到 HBase table。
我知道有多种方法可以做到这一点,例如:
- 从 HIVE 生成 CSV,然后使用批量加载将其转换为 HFile 以加载数据
- 使用MapReduce生成HFile
- 使用PIG脚本生成并加载HFile
- 或者有直接转换器吗?
你能推荐最好的方法来指导我吗?
我们没有在这个用例中使用 phoenix。
您可以使用 HBASE integration:
CREATE TABLE hbase_table_1(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");
然后将您的数据加载到 Hive table,也会加载 HBase,因为是相同的 table。
我必须从 HIVE 将数据加载到 HBase table。 我知道有多种方法可以做到这一点,例如:
- 从 HIVE 生成 CSV,然后使用批量加载将其转换为 HFile 以加载数据
- 使用MapReduce生成HFile
- 使用PIG脚本生成并加载HFile
- 或者有直接转换器吗?
你能推荐最好的方法来指导我吗?
我们没有在这个用例中使用 phoenix。
您可以使用 HBASE integration:
CREATE TABLE hbase_table_1(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");
然后将您的数据加载到 Hive table,也会加载 HBase,因为是相同的 table。