sqoop 从 hive/hdfs 导出到 sybase IQ 数据库

Question

我正在尝试将数据从 HDFS/HIVE 导出到 SYBASE IQ 数据库，我尝试了几乎所有可能在我的命令中实施的标记，并创建了只有 1 列的临时 table。

请在下面找到我用来导出 table 的命令行：

sqoop export --driver com.sybase.jdbc4.jdbc.SybDriver --connect jdbc:sybase:Tds:xx.xx.xx.xx:xxxx/DATABASE=ABC --username user --password password --export-dir "hdfs directory to be exported" --table "target table name" --input-fields-terminated-by '\t' --input-lines-terminated-by '\n'.

编辑：1) 仍然没有成功...我也尝试将 jdbc 驱动程序更改为较低版本（jconn3 从 jconn4）。在此之前，我已成功将数据导出到 SQL 服务器数据库和 ORACLE 数据库。我面临的唯一错误是 "INPUT PARAMETER NOT SET, INDEX 0"。我现在真的很想知道，因为我是唯一一个将数据从 hdfs 导出到 SYBASE IQ 的人。除了sqoop，还有其他导出数据的方法吗？

现在变得非常重要。请帮忙

Answer 1

将您的 jar，即驱动程序文件放入 /usr/lib/sqoop/lib

命令：

# check current dir
pwd 
# change path
cd /usr/lib/sqoop/bin

sudo sqoop export --connect jdbc:sybase:Tds:xx.xx.xx.xx:xxxx/DATABASE=ABC --username user --password password --table targettablename --export-dir "hdfs directory to be exported"

希望有用。

Answer 2

请尝试在您的 sqoop 命令中使用 --batch --num-mappers X。

sqoop 从 hive/hdfs 导出到 sybase IQ 数据库

sqoop export from hive/hdfs to sybase IQ database

hadoop

sap-iq

sqoop