Sqoop导出导入数据错误处理方法

Question

如果源数据库中存在任何数据问题，例如
- 当数字字段包含字符或
- 日期字段未正确填充时，

有什么方法可以处理这些异常并继续处理 sqoop 中的剩余记录而不会使作业失败吗？

我看到几年前有人问过类似的问题，但没有人回答。
Handling bad records during sqoop import or export

想知道最新版本的Sqoop有没有这个选项

提前致谢。

Answer 1

目前暂时没有解决这个问题。为了寻找解决方案，去年开了一个jira。但是目前，您不能通过跳过它来处理不良记录。

但是，可以通过自由格式查询在 sqoop 导入期间修改数据来处理错误记录。检查以下 sqoop 参数：

--query and --split-by

这是 sqoop cookbook 中关于自由格式查询的一个很好的教程：

How to handle data errors during Sqoop export and import