大查询错误403: quota exceeded 如何处理？
How to deal with big query error 403: quota exceeded?
我们有一个 python 脚本，它通过 MQTT 订阅物联网设备发布的数据，并每分钟将此数据附加到一个大查询 table。因此，我们每天向大查询 table 执行 1440 个附加作业，这刚好低于 GCP 设置的每日限制 1500。如果我们有更多的设备，这种方法肯定会失败。有没有人有实时监控传感器并将数据存储在云端的经验？你使用什么工具？谢谢
每天 table 操作的最大次数是 Standard tables 中的 1,500 次。此操作包括所有加载作业、复制作业和查询作业的总和，这些作业附加或覆盖目标 table 或使用 DML INSERT、UPDATE、DELETE 或 MERGE 语句将数据写入 table。因此，如果您达到每天每 table 1500 table 次操作的限制，您的 BigQuery 作业将失败并显示“超过配额”错误。以下是在这种情况下的建议：
将作业一起批处理以将更新合并为单个更新，这样您就可以克服 1500 table 操作限制。有关批处理作业的更多信息，请参阅此 documentation。
如果您想要实时更新数据，请使用 Streaming API。有关流媒体 API.
的更多信息，请参阅此 documentation
根据您的要求，我建议您使用 Streaming API 将数据的实时更新流式传输到 BigQuery。
我们有一个 python 脚本，它通过 MQTT 订阅物联网设备发布的数据，并每分钟将此数据附加到一个大查询 table。因此，我们每天向大查询 table 执行 1440 个附加作业，这刚好低于 GCP 设置的每日限制 1500。如果我们有更多的设备，这种方法肯定会失败。有没有人有实时监控传感器并将数据存储在云端的经验？你使用什么工具？谢谢
每天 table 操作的最大次数是 Standard tables 中的 1,500 次。此操作包括所有加载作业、复制作业和查询作业的总和，这些作业附加或覆盖目标 table 或使用 DML INSERT、UPDATE、DELETE 或 MERGE 语句将数据写入 table。因此，如果您达到每天每 table 1500 table 次操作的限制，您的 BigQuery 作业将失败并显示“超过配额”错误。以下是在这种情况下的建议：
将作业一起批处理以将更新合并为单个更新，这样您就可以克服 1500 table 操作限制。有关批处理作业的更多信息，请参阅此 documentation。
如果您想要实时更新数据，请使用 Streaming API。有关流媒体 API.
的更多信息，请参阅此 documentation
根据您的要求，我建议您使用 Streaming API 将数据的实时更新流式传输到 BigQuery。