如何监控 BigQuery 中非常缓慢的数据加载
How to monitor very slow data loading in BigQuery
我正在使用 Google API 方法 BigQueryClient.UploadJsonAsync 将未压缩的 JSON 文件加载到 C# 中的 BigQuery 中。上传的文件从 1MB 到 400MB 不等。过去几个月我一直在上传许多 TB 的数据，没有任何问题。但是这两天好像上传到BigQuery变得很慢了。
我能够以 600MB/s 的速度上传，但现在我最多只能以 15MB/s 的速度上传。
我检查了我的连接，在速度测试等连接测试中我仍然能够超过 600MB/s。
同样奇怪的是，BigQuery 负载吞吐量似乎取决于一天中的几个小时。当到达太平洋标准时间下午 3 点时，我的吞吐量下降到接近 5-10MB/s。
我不知道如何调查这个。
有没有办法监控 BigQuery 数据加载？
不清楚您是在测量从开始发送字节到插入加载作业的时间，还是从开始发送到加载作业完成的时间。第一个主要是网络级别的吞吐量问题，而第二个问题还包括从 BigQuery 服务提取时间。您可以检查加载作业元数据来帮助解决这个问题。
如果您试图通过 speedtest 等站点解决网络问题，请确保您选择了合适的远程节点进行测试；默认情况下，他们喜欢与您正在测试的客户端相关的网络位置接近的东西。
我正在使用 Google API 方法 BigQueryClient.UploadJsonAsync 将未压缩的 JSON 文件加载到 C# 中的 BigQuery 中。上传的文件从 1MB 到 400MB 不等。过去几个月我一直在上传许多 TB 的数据，没有任何问题。但是这两天好像上传到BigQuery变得很慢了。
我能够以 600MB/s 的速度上传，但现在我最多只能以 15MB/s 的速度上传。 我检查了我的连接，在速度测试等连接测试中我仍然能够超过 600MB/s。
同样奇怪的是，BigQuery 负载吞吐量似乎取决于一天中的几个小时。当到达太平洋标准时间下午 3 点时，我的吞吐量下降到接近 5-10MB/s。
我不知道如何调查这个。 有没有办法监控 BigQuery 数据加载？
不清楚您是在测量从开始发送字节到插入加载作业的时间，还是从开始发送到加载作业完成的时间。第一个主要是网络级别的吞吐量问题，而第二个问题还包括从 BigQuery 服务提取时间。您可以检查加载作业元数据来帮助解决这个问题。
如果您试图通过 speedtest 等站点解决网络问题，请确保您选择了合适的远程节点进行测试；默认情况下，他们喜欢与您正在测试的客户端相关的网络位置接近的东西。