Google Cloud Platform:在没有 Dataflow 的情况下将数据从 Pub/Sub 累积到 Cloud Storage 中的文件
Google Cloud Platform: accumulate data from Pub/Sub to files in Cloud Storage without Dataflow
-
google-cloud-storage
-
google-cloud-platform
-
amazon-kinesis
-
google-cloud-pubsub
-
amazon-kinesis-firehose
我想弄清楚 GCP 上是否有一项服务允许使用来自 Pub/Sub 的流和 dump/batch 累积数据到云存储中的文件(例如,每 X 分钟) .我知道这可以通过 Dataflow 实现,但正在寻找更多 "out of the box" 解决方案(如果存在)。
例如,这是可以用 AWS Kinesis Firehose 做的事情 - 纯粹在配置级别 - 可以告诉 AWS 将流中累积的任何内容转储到文件S3,定期,或当累积数据达到一定大小时。
这样做的原因是 - 当不需要流处理,而只需要积累数据时 - 我想尽量减少额外的成本:
- 构建自定义软件,即使是一个简单的软件,如果可以完全避免的话
- 消耗额外的计算资源来执行它
为避免混淆 - 我不是在寻找免费解决方案,而是在寻找最佳解决方案。
Google 为 Dataflow 维护一组模板以在其服务之间执行常见任务。
您只需插入一些配置值即可使用 "Pubsub to Cloud Storage" 模板 - https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext
google-cloud-storage
google-cloud-platform
amazon-kinesis
google-cloud-pubsub
amazon-kinesis-firehose
我想弄清楚 GCP 上是否有一项服务允许使用来自 Pub/Sub 的流和 dump/batch 累积数据到云存储中的文件(例如,每 X 分钟) .我知道这可以通过 Dataflow 实现,但正在寻找更多 "out of the box" 解决方案(如果存在)。
例如,这是可以用 AWS Kinesis Firehose 做的事情 - 纯粹在配置级别 - 可以告诉 AWS 将流中累积的任何内容转储到文件S3,定期,或当累积数据达到一定大小时。
这样做的原因是 - 当不需要流处理,而只需要积累数据时 - 我想尽量减少额外的成本:
- 构建自定义软件,即使是一个简单的软件,如果可以完全避免的话
- 消耗额外的计算资源来执行它
为避免混淆 - 我不是在寻找免费解决方案,而是在寻找最佳解决方案。
Google 为 Dataflow 维护一组模板以在其服务之间执行常见任务。
您只需插入一些配置值即可使用 "Pubsub to Cloud Storage" 模板 - https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext