有人在增量导入配置单元时有数据重复吗？

Did anyone has data duplication while doing Incremental import into hive?

你们中有人在增量导入到配置单元时遇到数据重复问题以及如何解决这个问题。

提前致谢。

如果table上有主键，则增量导入时不会出现数据重复

使用唯一键或在 table 上定义主键。

--check-column (primarykey/unique key)-->用它来避免数据重复