将 Numpy 矩阵从 DataLab 上传到 BigQuery

Question

我有一个 numpy 矩阵作为 DataLab 的输出。如何在 BigQuery 中将其作为 table 获取？

到目前为止，我似乎需要将其翻译成 JSON，保存在存储中并从那里上传。 有没有更简单的方法来完成这项工作？

谢谢

Answer 1

使用 pandas 包找到了一个简单的解决方案。

需要将数据转换为数据框，然后使用 to_gbq 方法。

Here 是文档

唯一的缺点是记录在 BigQuery streaming buffer 中会保留数小时甚至数天，我不确定它的影响是什么。