Sqoop是否支持从分区oracle中提取数据table

Question

我有一个非常大的 oracle table，它是分区的 table，我想问一下 Sqoop 是否或如何支持基于 oracle 分区进行拆分，例如，一个映射器从一个 oracle 分区。

Answer 1

Sqoop 支持从 oracle 分区导入 table。 Here 是文档。

语法是这样的

sqoop import \
-Doraoop.disabled=false \
-Doraoop.import.partitions='"PARTITION-NAME","PARTITION-NAME1","PARTITION-NAME2",' \
--connect jdbc:oracle:thin:@XXX.XXX.XXX.XXX:15XX:SCHEMA_NAME \
--username user \
--password password \
--table SCHEMA.TABLE_NAME \
--target-dir /HDFS/PATH/ \
-m 1

单个映射器将分配给每个分区，同时将数据写入 HDFS。

确保您启用了动态分区属性并且分区数属性值也高于创建Hive时oracle中现有的分区table。

Sqoop是否支持从分区oracle中提取数据table

Does Sqoop support extracting data from partitioned oracle table

sqoop