使用 hcatalog 的 Sqoop 增量导出？

Question

有没有办法使用sqoop做增量导出？我正在使用 Hcatalog 集成 sqoop.I 尝试使用用于增量导入的 --last-value、--check-column 选项，但 sqoop 给我错误提示选项无效。

Answer 1

默认情况下，sqoop 不支持 hcatalog 集成的增量更新，当我们尝试它时会出现以下错误

导入的追加模式与 HCatalog 不兼容。请去掉参数--append-mode 在 org.apache.sqoop.tool.BaseSqoopTool.validateHCatalogOptions(BaseSqoopTool.java:1561)

您可以使用查询选项使其工作。如 this hortonworks document

中所述

Answer 2

我没有看到增量 sqoop 导出参数。您可以尝试的另一种方法是在配置单元中创建一个 contol_table，您可以在其中记录每次上次导出时的 table 名称和时间戳。

create table if not exists control_table (
 table_name  string,
 export_date timestamp
);

insert into control_table 'export_table1' as table_name, from_unixtime(unix_timestamp()) as export_date from control_table;

如果 export_table1 是您要增量导出的 table 并假设是否已经执行了以上两个语句。

--execute below at once   
--get the timestamp when the table was last executed
create temporary table control_table_now as select table_name, max(export_date) as last_export_date from control_table group by table_name;

--get incremental rows
create table new_export_table1 as select field1, field2, field3, .... timestamp1 from export_table1 e, control_table_now c where c.table_name = 'export_table1' and e.timestamp1 >= c.last_export_date;

--append the control_table for next process
insert into control_table 'export_table1' as table_name, from_unixtime(unix_timestamp()) as export_date from control_table;

现在，导出使用sqoop export命令增量创建的new_export_table1 table。

使用 hcatalog 的 Sqoop 增量导出？

Sqoop incremental export using hcatalog?

hadoop

hive

sqoop

hcatalog

hadoop2