带分区的 sqoop 配置单元导入

Question

我有一些 sqoop 作业正在导入到我想要分区的配置单元中，但我无法让它运行。导入实际上会起作用：table 是 sqooped，它在配置单元中可见，有数据，但是当我描述 table 时，我期望看到的分区参数没有出现。我已经将此 table sqooped 作为 csv，创建了一个外部镶木地板 table，并将数据插入其中（有效），但我希望能够尽可能避免额外的步骤。这是我当前的代码。我是否遗漏了什么，或者我正在尝试做不可能的事情？谢谢！

sqoop import -Doraoop.import.hint=" " \
--options-file /home/[user]/pass.txt \
--verbose \
--connect jdbc:oracle:thin:@ldap://oid:389/cn=OracleContext,dc=[employer],dc=com/SQSOP051 \
--username [user]\
--num-mappers 10 \
--hive-import \
--query "select DISC_PROF_SK_ID, CLM_RT_DISC_IND, EASY_PAY_PLN_DISC_IND, TO_CHAR(L40_ATOMIC_TS,'YYYY') as YEAR, TO_CHAR(L40_ATOMIC_TS,'MM') as MONTH from ${DataSource[index]}.$TableName where $CONDITIONS" \
--hive-database [dru_user] \
--hcatalog-partition-keys YEAR \
--hcatalog-partition-values '2015' \
--target-dir hdfs://nameservice1/data/res/warehouse/finance/[dru_user]/Claims_Data/$TableName \
--hive-table $TableName'testing' \
--split-by ${SplitBy[index]} \
--delete-target-dir \
--direct \
--null-string '\N' \
--null-non-string '\N' \
--as-parquetfile \

Answer 1

您可以将 options-file 替换为 --password-file。然而，这并不能解决分区问题。对于分区问题，您可以尝试在导入之前先创建分区编辑 table $TableName。

sqoop import -Doraoop.import.hint=" "               \
  --password-file /home/[user]/pass.txt             \
  --verbose                                         \
  --connect jdbc:oracle:thin:@ldap://oid:389/cn=OracleContext,dc=[employer],dc=com/SQSOP051                              \
  --username [user]                                 \
  --num-mappers 10                                  \
  --hive-import                                     \
  --query "SELECT disc_prof_sk_id, 
       clm_rt_disc_ind, 
       easy_pay_pln_disc_ind, 
       To_char(l40_atomic_ts,'YYYY') AS year, 
       To_char(l40_atomic_ts,'MM')   AS month 
    FROM   ${DataSource[index]}.$tablename 
    WHERE  $conditions"                            \
  --hcatalog-database [dru_user]                    \
  --hcatalog-partition-key     YEAR                 \
  --hcatalog-partition-values '2015'                \
  --target-dir hdfs://nameservice1/data/res/warehouse/finance/[dru_user]/Claims_Data/$TableName                                                   \
  --hcatalog-table $TableName                       \
  --split-by ${SplitBy[index]}                      \
  --delete-target-dir                               \
  --direct                                          \
  --null-string '\N'                               \
  --null-non-string '\N'                           \
  --as-parquetfile

带分区的 sqoop 配置单元导入

sqoop hive import with partitions

hadoop

hive

sqoop

parquet

partition