在 sqoop import 语句中使用 Append 和 last modified
Using Append and last modified in sqoop import statement
我们正在使用 sqoop 将数据从 Oracle 数据库提取到 HDFS。人们习惯于定期更新和添加新行到 SQL table。我知道 sqoop 增量导入 --append 和 --last modified 选项。
我的问题是我们是否可以在同一个导入语句中使用这两个选项？
例如，
sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100
还是需要分开使用？或者其他更好的方法？
我自己找到了答案。
lastmodified 可以根据最后修改的列处理更新和新添加的行。在这种情况下不需要使用 Append。
我们正在使用 sqoop 将数据从 Oracle 数据库提取到 HDFS。人们习惯于定期更新和添加新行到 SQL table。我知道 sqoop 增量导入 --append 和 --last modified 选项。
我的问题是我们是否可以在同一个导入语句中使用这两个选项？
例如，
sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100
还是需要分开使用？或者其他更好的方法？
我自己找到了答案。
lastmodified 可以根据最后修改的列处理更新和新添加的行。在这种情况下不需要使用 Append。