使用 Google Bigquery 和 Python 进行批处理
Batch with Google Bigquery and Python
使用 Google Bigquery Api 在 python 中执行批量插入的最有效方法是什么。我试图在大型数据集（1 000 000 +）上使用此 code 执行流行，但需要一段时间才能插入它们。在 Python 中插入大型数据集是否有更有效的方法？
- table 已经存在，并且有信息。
- 我有一个要插入的 1 百万数据点的列表
- 我想用 Python 来做，因为我会多次重复使用代码。
我认为流式传输（全部插入 API）对您的情况没有意义
您宁愿尝试 Load Job
请参阅 documentation
中的 python 代码示例
使用 Google Bigquery Api 在 python 中执行批量插入的最有效方法是什么。我试图在大型数据集（1 000 000 +）上使用此 code 执行流行，但需要一段时间才能插入它们。在 Python 中插入大型数据集是否有更有效的方法？
- table 已经存在，并且有信息。
- 我有一个要插入的 1 百万数据点的列表
- 我想用 Python 来做，因为我会多次重复使用代码。
我认为流式传输（全部插入 API）对您的情况没有意义
您宁愿尝试 Load Job
请参阅 documentation