使用 Sqoop Import-all-tables 命令时如何更改 HIVE 字段分隔符

Question

我正在尝试运行以下命令来导入 mysql 数据库中的所有表。

 sqoop import-all-tables \
  --num-mappers 4 \
  --connect "jdbc:mysql://<host>:<port>/SomeDB" \
  --username=SomeUser \
  --password=SomePassword \
  --hive-import \
  --hive-overwrite \
  --create-hive-table \
  --hive-database STAGING_AREA

这是用以下分隔符创建表

Storage Desc Params:         
    field.delim             \u0001              
    line.delim              \n                  
    serialization.format    \u0001

如何将字段分隔符更改为“|”当运行执行上述 sqoop 命令时。

Answer 1

你可以试试:

chown sqoop:sqoop /var/lib/sqoop 
chmod 755 /var/lib/sqoop

但你的问题可能不是这个。您可以在 Job History Server Web UI 中查看详细日志。

Answer 2

我在 sqoop 选项列表中添加了以下内容

--fields-terminated-by \

问题就解决了。

使用 Sqoop Import-all-tables 命令时如何更改 HIVE 字段分隔符

How to change HIVE field delimeter when using Sqoop Imprt-all-tables command

mysql

hive

sqoop