运行特定队列上的 sqoop 作业

Question

我正在尝试在特定队列中创建 Sqoop 作业运行，但它不起作用。

我试过两件事：

1st : 在作业创建中声明队列

sqoop job \ --create myjob \ -- import \ --connect jdbc:teradata://RCT/DATABASE=MYDB \ -Dmapred.job.queue.name=shortduration \ --driver com.teradata.jdbc.TeraDriver \ --username DBUSER -P \ --query "$query" \ --target-dir /data/source/dest/$i \ --check-column DAT_CRN_AGG \ --incremental append \ --last-value 2001-01-01 \ --split-by NUM_CTR

但是由于-Dmapred.job.queue.name=shortduration
它会抛出解析参数错误
2nd : 移除创造就业的-Dmapred.job.queue.name=shortduration。创造就业效果很好。但是无法指定应该使用哪个队列

我对运行我在这个队列中的工作失去希望

感谢您提供的任何帮助！

EDIT：获取与 sqoop import -Dmapred.job.queue.name=shortduration 一起使用的导入，但 sqoop 作业不工作

Answer 1

我认为你的命令有误

-Dmapreduce.job.queuename=NameOfTheQueue

注意queuename一个字和顺序，根据文档，vm args需要在导入后直接走。

https://sqoop.apache.org/docs/1.4.3/SqoopUserGuide.html#_using_generic_and_specific_arguments

Generic Hadoop command-line arguments: (must preceed any tool-specific arguments) Generic options supported are -conf specify an application configuration file -D use value for given property

sqoop job -Dmapred.job.queuename=shortduration \
         --create myjob \
         -- import  \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

您可能只想使用导入工具尝试一下，看看它是否正常工作，然后执行作业命令，即

sqoop import -Dmapred.job.queuename=shortduration \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

运行特定队列上的 sqoop 作业

Run a sqoop job on a specific queue

queue

hadoop

sqoop

运行 特定队列上的 sqoop 作业

Run a sqoop job on a specific queue

queue

hadoop

sqoop

运行特定队列上的 sqoop 作业