Sqoop 导入 HBase - Sql 数据库

Question

我想将我的数据从 SQL 数据库迁移到 HBase。我的问题之一是我的 SQL table 没有主键，所以要克服这个问题。我在 Sqoop 查询中使用复合键。我已成功将数据从 SQL 导入到 HBase，但主要问题是导入的数据不包含用于导入数据所需的候选键的列。请对此给出一些解决方案..!! 我目前使用的 Sqoop 查询格式如下：

sqoop import --connect "jdbc:sqlserver://Ip:1433;database=dbname;username=test;password=test" --table TableName --hbase-create-table --hbase-table TableName --column-family NameSpace --hbase-row-key Candidate1,Candidate2,Candidate3 -m 1

如果有人知道为同一个而不是单个数据库导入完整数据库的查询，也请告诉我 table。

Answer 1

经过大量研究，我遇到了一个正确的语法，通过它我能够正确加载所有数据而不会丢失任何单个列，如下所示：

sqoop import -D sqoop.hbase.add.row.key=true –connect “jdbc:sqlserver://IP:1433;database=DBNAME;username=UNAME;password=PWD” --table SQLTABLENAME –hbase-create-table –hbase-table HBASETABLENAME –column-family COLUMNFAMILYNAME –hbase-row-key PRIMARYKEY -m 1

或

sqoop import -D sqoop.hbase.add.row.key=true –connect “jdbc:sqlserver://IP:1433;database=DBNAME;username=UNAME;password=PWD” --table SQLTABLENAME –hbase-create-table –hbase-table HBASETABLENAME –column-family COLUMNFAMILYNAME –hbase-row-key CANDIDATEKEY1, CANDIDATEKEY2, CANDIDATEKEY3 -m 1

Sqoop 导入 HBase - Sql 数据库

Sqoop Import HBase - Sql Database

sql-server

hadoop

hbase

hdfs

sqoop