Google 处理大量数据时 BigQuery 错误 401 msg:Unauthorized
Google BigQuery error 401 msg:Unauthorized when processing large amount of data
我们正在尝试从 Google Big Query 中检索每日 table，通过 HTTP 请求平均每天约 4000 万行：
使用服务帐户
由于数据量的原因，在我们的案例中需要它，因此我将传递 allowLargeResults 并提供 destinationTable 参数，如 [ https://cloud.google.com/bigquery/querying-data#largequeryresults ].
中所述上面的步骤成功了，我可以通过从返回的 JSON 中读取 totalRows 值来查看总行数——这正确对应于我 运行 BigQuery 中的相同查询。
我们使用分页处理行，获取每个页面的 pageToken 值（根据每页 10MB 的限制，我们每页处理大约 3K 行）
只要处理的总行数接近一百万，就会运行这个过程几次，返回一个空对象，我们得到错误401 msg:Unauthorized。
您能否提供更多信息来说明发生这种情况的原因？查看 BigQuery 的故障排除错误列表 https://cloud.google.com/bigquery/troubleshooting-errors 401 错误仅被描述为身份验证错误，但我很确定我们在前面的步骤中成功地使用 Google Big Query 进行了身份验证。
感谢您的宝贵时间
授权令牌有效期为3600秒，需要刷新令牌才能继续分页
大多数图书馆都有专门的方法来刷新令牌。
我们正在尝试从 Google Big Query 中检索每日 table，通过 HTTP 请求平均每天约 4000 万行：
使用服务帐户
由于数据量的原因，在我们的案例中需要它，因此我将传递 allowLargeResults 并提供 destinationTable 参数，如 [ https://cloud.google.com/bigquery/querying-data#largequeryresults ].
中所述上面的步骤成功了，我可以通过从返回的 JSON 中读取 totalRows 值来查看总行数——这正确对应于我 运行 BigQuery 中的相同查询。
我们使用分页处理行，获取每个页面的 pageToken 值（根据每页 10MB 的限制，我们每页处理大约 3K 行）
只要处理的总行数接近一百万，就会运行这个过程几次，返回一个空对象，我们得到错误401 msg:Unauthorized。
您能否提供更多信息来说明发生这种情况的原因？查看 BigQuery 的故障排除错误列表 https://cloud.google.com/bigquery/troubleshooting-errors 401 错误仅被描述为身份验证错误，但我很确定我们在前面的步骤中成功地使用 Google Big Query 进行了身份验证。
感谢您的宝贵时间
授权令牌有效期为3600秒，需要刷新令牌才能继续分页
大多数图书馆都有专门的方法来刷新令牌。