Sqoop中增量数据如何指定多列？
How to specify multiple columns for incremental data in Sqoop?
我正在使用以下查询在 sqoop-
中获取增量数据
bin/sqoop job --create JOB_NAME -- import --connect jdbc:oracle:thin:/system@HOST:PORT:ORACLE_SERVICE --username USERNAME --password-file /PASSWORD_FILE.txt --fields-terminated-by ',' --enclosed-by '"' --table SCHEMA.TABLE_NAME --target-dir /TARGET_DIR -m 2 --incremental append --check-column NVL(UPDATE_DATE,INSERT_DATE) --last-value '2019-01-01 00:00:00.000' --split-by PRIMARY_KEY --direct
它为 --check-columns 参数中的多列抛出错误。
有没有在--check-column参数中指定多列的方法？
我想获取数据，如果UPDATE_DATE字段包含空值那么它应该根据INSERT_DATE列获取数据。
我想从每天更新的 table 中提取交易记录，如果记录是第一次插入，则 UPDATED_DATE 列中没有值。这就是为什么我需要在从 table.
获取数据时比较两列的原因
如有任何帮助，我们将不胜感激。
根据我的理解，在进行增量导入时似乎不可能有 2 个检查列，因此我们能够设法完成此操作的唯一方法是使用 2 个单独的导入：
- 首次使用插入日期作为检查列进行增量导入
记录
- 以更新列作为检查列的增量导入
更新记录
我正在使用以下查询在 sqoop-
中获取增量数据bin/sqoop job --create JOB_NAME -- import --connect jdbc:oracle:thin:/system@HOST:PORT:ORACLE_SERVICE --username USERNAME --password-file /PASSWORD_FILE.txt --fields-terminated-by ',' --enclosed-by '"' --table SCHEMA.TABLE_NAME --target-dir /TARGET_DIR -m 2 --incremental append --check-column NVL(UPDATE_DATE,INSERT_DATE) --last-value '2019-01-01 00:00:00.000' --split-by PRIMARY_KEY --direct
它为 --check-columns 参数中的多列抛出错误。
有没有在--check-column参数中指定多列的方法？
我想获取数据，如果UPDATE_DATE字段包含空值那么它应该根据INSERT_DATE列获取数据。
我想从每天更新的 table 中提取交易记录，如果记录是第一次插入，则 UPDATED_DATE 列中没有值。这就是为什么我需要在从 table.
获取数据时比较两列的原因如有任何帮助，我们将不胜感激。
根据我的理解，在进行增量导入时似乎不可能有 2 个检查列，因此我们能够设法完成此操作的唯一方法是使用 2 个单独的导入：
- 首次使用插入日期作为检查列进行增量导入 记录
- 以更新列作为检查列的增量导入 更新记录