BigQuery API 的 GKE Pod 下载速度很慢
GKE Pod download speed of BigQuery API is very slow
我有一个在 BigQuery 上执行查询的图像，然后使用以下代码下载结果（大约 8GB）：
query_job = client.query(my_sql_query)
query_result = query_job.result()
data_table = query_result.to_arrow(progress_bar_type='tqdm')
当我运行本地代码下载速度还可以（100mbs，基本上是我电脑的实际带宽）。问题是，当我 运行 它在 GKE 集群上时，下载速度非常慢（使用 tqdm 我可以看到大约需要 2 小时）。
我用 python 包 speedtest-cli 检查了我的 pod 的带宽，它接近 500 mbs。
问题是我没有在 pod 中安装 google-cloud-bigquery-storage 包，所以我使用 google-cloud-bigquery 包来执行下载。
我有一个在 BigQuery 上执行查询的图像，然后使用以下代码下载结果（大约 8GB）：
query_job = client.query(my_sql_query)
query_result = query_job.result()
data_table = query_result.to_arrow(progress_bar_type='tqdm')
当我运行本地代码下载速度还可以（100mbs，基本上是我电脑的实际带宽）。问题是，当我 运行 它在 GKE 集群上时，下载速度非常慢（使用 tqdm 我可以看到大约需要 2 小时）。
我用 python 包 speedtest-cli 检查了我的 pod 的带宽，它接近 500 mbs。
问题是我没有在 pod 中安装 google-cloud-bigquery-storage 包，所以我使用 google-cloud-bigquery 包来执行下载。