table 上的 sqoop 增量导入，数据混乱且没有修改时间列

Question

假设我有一个 table 客户：

CustomerID  CustomerName  CustomerBill
7           John          100
2           Bill          500
4           Mark          200

这里 CustomerID 是主键，但记录没有特定的顺序。数据库中对应的table没有修改时间列。以前的条目也可以更改。如何对数据进行增量导入？

我使用的数据库是Sybase，导入Hive

Answer 1

Records are in no particular order.

append模式无法使用

There is no modified time column in the corresponding table in the database.

lastmodified模式无法使用

Sqoop 确实做任何特别的事情。它需要增加 ID 或更新时间戳来进行 SQL 查询以获取 ONLY inserted/updated 已记录。