Google Cloud Platform:在没有 Dataflow 的情况下将数据从 Pub/Sub 累积到 Cloud Storage 中的文件

Google Cloud Platform: accumulate data from Pub/Sub to files in Cloud Storage without Dataflow

我想弄清楚 GCP 上是否有一项服务允许使用来自 Pub/Sub 的流和 dump/batch 累积数据到云存储中的文件(例如,每 X 分钟) .我知道这可以通过 Dataflow 实现,但正在寻找更多 "out of the box" 解决方案(如果存在)。

例如,这是可以用 AWS Kinesis Firehose 做的事情 - 纯粹在配置级别 - 可以告诉 AWS 将流中累积的任何内容转储到文件S3,定期,或当累积数据达到一定大小时。

这样做的原因是 - 当不需要流处理,而只需要积累数据时 - 我想尽量减少额外的成本:

为避免混淆 - 我不是在寻找免费解决方案,而是在寻找最佳解决方案。

Google 为 Dataflow 维护一组模板以在其服务之间执行常见任务。

您只需插入一些配置值即可使用 "Pubsub to Cloud Storage" 模板 - https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext