BigQuery 是否具有 api 到 return 导出的 table 的校验和

Does BigQuery Has an api to return a Checksum for a exported table

我正在寻找是否有一种方法可以获取可以从 google bigquery 导出的文件(或 table)的校验和。

示例假设我导出(或下载)了一个名为 来自 bigquery 的 daily-record-2018-07-10,bigquery 是否可以为我们提供一些 checksum(如 sha1md5 等)以便我们可以在我们结束之前预先计算这些校验和开始处理这些文件

这样做的原因是为了确保我们在下载(或导出)table 时不会丢失任何信息。我们确实在网络上丢失了一些信息,然后我们可以预先计算校验和并再次尝试导出 table.

听起来问题可能是关于如何对 文件 进行校验和,我相信有很多关于此的资源,但如果您想对 table 存储在 BigQuery 中,您可以使用这种形式的查询:

SELECT BIT_XOR(FARM_FINGERPRINT(TO_JSON_STRING(t)))
FROM MyTable AS t

这会将每一行转换为字符串表示形式、散列,然后对结果进行异或运算以在 table 中生成校验和。您也可以在外部 table 上使用它(例如云存储或云端硬盘上的文件)。