使用 GET 方法将数据流式传输到 Google BigQuery?

Stream data into Google BigQuery using GET Method?

我需要一个好的解决方案,最好是现有的解决方案,例如 Google Rest API,用于将数据 stream/insert 导入 BigQuery。由于许多设计原因,我不想使用 POST 方法发送数据。我期望每秒写入 1000 次。数据将附加在 url 的查询参数中。它与 Google 分析所做的非常相似,使用 Get 方法发送分析数据。

这里有一份礼物:

http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq

如果你有任何额外的问题问我,我使用了这个解决方案。

我可能还鼓励您使用 Dataflow 流式管道之类的东西来处理这些插入,而不是直接调用 API。

Google 云函数 (GCF) 解决了这个问题。 GCF 仍处于测试阶段,但大多数 google 产品无论如何都处于测试阶段。 GCF 是无服务器的,可以用几行代码编写 http 触发器。如需更多信息,请访问 -> https://console.cloud.google.com/functions