如何通过 Sqoop 从多个源导入数据

Question

"How to import the data from multiple source thru Sqoop".

我对此一无所知..请告诉我这个机制。

谢谢

Answer 1

这可以通过 shell 脚本完成。

1)准备一个包含DBNAME.TABLENAME列表的输入文件 2)shell脚本将这个文件作为输入，逐行迭代并为每一行执行sqoop语句。

while read line;
do

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2`


    sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName  --target-dir $DATA_COLLECTOR/$tableName  --fields-terminated-by '[=10=]1'  -m 1 

done<inputFile

如何通过 Sqoop 从多个源导入数据

How to import the data from multiple source thru Sqoop

hadoop

sqoop