如何使用 Google DLP API 从存储在 Google Big Query 中的数据中删除敏感内容?
How to use Google DLP API to delete sensitive content from data stored in Google Big Query?
我在 Google Big Query 中有一个 table,它有一些敏感字段。我阅读并理解了 inspection 数据,但找不到直接在 BigQuery 数据库中使用 DLP API 编辑数据的方法。
两个问题:
- 是否可以只使用 DLP API?
- 如果不是,修复 table 达到 TB 级数据的最佳方法是什么?
API暂不支持bigquery直接去标识化。
但是,您可以编写利用 content.deidentify 的数据流管道。如果您使用 Table 个对象 (https://cloud.google.com/dlp/docs/reference/rest/v2/ContentItem#Table) 对您的行进行批处理,这可以非常有效地工作。
我在 Google Big Query 中有一个 table,它有一些敏感字段。我阅读并理解了 inspection 数据,但找不到直接在 BigQuery 数据库中使用 DLP API 编辑数据的方法。
两个问题:
- 是否可以只使用 DLP API?
- 如果不是,修复 table 达到 TB 级数据的最佳方法是什么?
API暂不支持bigquery直接去标识化。
但是,您可以编写利用 content.deidentify 的数据流管道。如果您使用 Table 个对象 (https://cloud.google.com/dlp/docs/reference/rest/v2/ContentItem#Table) 对您的行进行批处理,这可以非常有效地工作。