从 100 位客户到 Google Pub/Sub 到 GCS 的近实时流数据
Near real time streaming data from 100s customer to Google Pub/Sub to GCS
我从 100 多个客户那里获得了近乎实时的数据。我需要将此数据存储在为每个客户创建的 Google 个 Cloud Storage 存储桶中，即 /gcs/customer_id/yy/mm/day/hhhh/
我的数据在 Avro 中。我想我可以使用 Pub/Sub to Avro Files on Cloud Storage template。
但是，我不确定 Google Pub/Sub 是否可以接受来自多个客户的数据。
在此感谢任何帮助，谢谢！
模板非常简单：它获取 PubSub 的所有数据并将它们存储在 GCS 上的 avro 文件中。
不过，这是一个很好的起点，您可以在此基础上进行改进，为每个客户添加一个拆分，以及您想要的文件路径。
我从 100 多个客户那里获得了近乎实时的数据。我需要将此数据存储在为每个客户创建的 Google 个 Cloud Storage 存储桶中，即 /gcs/customer_id/yy/mm/day/hhhh/
我的数据在 Avro 中。我想我可以使用 Pub/Sub to Avro Files on Cloud Storage template。 但是，我不确定 Google Pub/Sub 是否可以接受来自多个客户的数据。 在此感谢任何帮助，谢谢！
模板非常简单：它获取 PubSub 的所有数据并将它们存储在 GCS 上的 avro 文件中。
不过，这是一个很好的起点，您可以在此基础上进行改进，为每个客户添加一个拆分，以及您想要的文件路径。