TensorFlow 数据验证和 BigQuery

Question

我想使用 TensorFlow Data Validation 来分析和验证数据以输入我的 ML 模型。 但是，我的 table 原始数据在 BigQuery 上（超过 30gb），我无法将其加载为 pandas 数据帧。

如何将数据从 Bigquery 加载到我的笔记本中以便使用 TensorFlow Data Validation 对其进行分析？

我想我可能会使用 Dataflow，但我可以找到一个合适的例子

Answer 1

将所有内容加载到 TFRecord 文件中，然后将其传递给 TF 数据验证。

Here 您可以找到一个示例，其中他们将数据从 BigQuery 加载到 TFRecord（他们使用 Apache Beam）。