sqoop 导入配置单元 table 错误

Question

你好，我尝试将 as400 table 插入配置单元 table，因此我创建了一个配置单元 table，其架构与 as400 table 相同，但我添加了一个列处理日期（时间戳）这是我的蜂巢 table：

CREATE external TABLE IF NOT EXISTS default.AS400TEST (
One INT,
Two STRING,
..
N   INT             
)
PARTITIONED BY (processedate TIMESTAMP)
STORED AS  TEXTFILE 
location  '/tmp/AS400TEST;

我运行这个sqoop命令：

sqoop import --verbose --driver $DRIVER_CLASS --connect $URL --username $LOGIN --password $PASSWORD \
--table $TABLE \
--target-dir $DIR \
-m 1 --hive-import --hive-table default.AS400TEST \
--hive-partition-key "processedate"

我的问题是地图保持在 0% 超过 30 分钟，我终止了工作。我需要改变什么吗？

又一问题：如何用sqoop插入时间戳列？

Answer 1

您的 table 可能很大，一个映射器 (-m 1) 无法在合理的时间内完成任务。尝试增加此参数（详见documentation）。

要插入时间戳列，请使用 --map-column-hive 'timestamp_column_name=TIMESTAMP'。

sqoop 导入配置单元 table 错误

sqoop import to hive table error

hive

sqoop