我可以防止 bigquery 中的重复数据吗？

Question

我正在玩 BQ，我创建了一个 table 并插入了一些数据。我重新插入它并创建了重复项。我确定我遗漏了一些东西，但是如果数据存在于 table?

中，我是否可以做些什么来忽略它

我的用例是我从不同的客户端获取数据流，有时他们的数据会包含一些他们之前已经发送的数据（我无法控制他们提交）。

有没有办法在满足某些条件时防止重复？最简单的是整个数据是否相同，但是否存在某些列？

Answer 1

如果不清楚 table 结构，很难回答您的问题，但感觉您可能对 MERGE 语句感兴趣：ref here.

使用此 DML 语句，您可以混合执行 INSERT、UPDATE 和 DELETE 语句，因此完全符合您的描述。