将 payload/event 数据从 Google 跟踪代码管理器发送到 Bigquery
Send payload/event data from Google Tag Manager to Bigquery
这是我要解决的问题。
客户有 1000 个网站将数据层数据发送到 GTM。最终需要将数据发送到 Bigquery。因此，它的数据量很大，目前正在发送到云函数，然后将其插入 Bigquery，由于其配额和限制，存在超时错误。
但是这种方式会大量增加云函数实例的数量，不划算。
另一种方法可能是将 GTM 事件发送到 Google 云 pubsub，然后发送到云功能（我们现在可以控制实例的最大数量）。但这种方法的问题是 GTM 无法将数据发送到需要身份验证的端点。 pubsub 端点就是这种情况（它需要 API key/Oauth 2.0）。
任何 advice/suggestion/approach 处理此问题的人将不胜感激。
我建议您尝试 Cloud 运行。它与 Cloud Function 非常相似（将您的函数包装在网络服务器中，仅此而已！我 wrote an article 就此而言）并且您可以在同一实例上同时处理多达 250 个查询（从而降低成本并提高效率） .
我没有发现 BigQuery 问题（限制和配额），但正确的方法是在流中写入 BigQuery（流中每秒写入 100 万次）。
这是我要解决的问题。 客户有 1000 个网站将数据层数据发送到 GTM。最终需要将数据发送到 Bigquery。因此，它的数据量很大，目前正在发送到云函数，然后将其插入 Bigquery，由于其配额和限制，存在超时错误。
但是这种方式会大量增加云函数实例的数量，不划算。 另一种方法可能是将 GTM 事件发送到 Google 云 pubsub，然后发送到云功能（我们现在可以控制实例的最大数量）。但这种方法的问题是 GTM 无法将数据发送到需要身份验证的端点。 pubsub 端点就是这种情况（它需要 API key/Oauth 2.0）。
任何 advice/suggestion/approach 处理此问题的人将不胜感激。
我建议您尝试 Cloud 运行。它与 Cloud Function 非常相似（将您的函数包装在网络服务器中，仅此而已！我 wrote an article 就此而言）并且您可以在同一实例上同时处理多达 250 个查询（从而降低成本并提高效率） .
我没有发现 BigQuery 问题（限制和配额），但正确的方法是在流中写入 BigQuery（流中每秒写入 100 万次）。