AWS:设置从 PostgreSQL 到 Redshift 的运动流

AWS: Setting up a kinesis stream from PostgreSQL to Redshift

关于我之前的问题,我让我的老板继续让我为我们的分析团队设置一个从我现有的 postgres 到我们新的 redshift 数据库的 DMS。

我遇到的下一个问题,在花了 3 天时间对此进行搜索后,没有提供任何帮助。我的老板想使用 Kinesis 将实时数据从我们的 PG 数据库提取到我们的 RS 数据库,以便我们的分析团队可以从中实时提取数据。我正在尝试对其进行配置,但 运行 除了头疼什么都没有。

我设置了 Stream,Firehose 设置为从我创建的名为 "postgres-stream-bucket" 的 S3 存储桶中获取数据,但我不确定如何从 PG 中获取数据并转储到其中,然后确保 RS 实时获取并使用所有内容。

然而,如果有更好的选择,我会 喜欢 听到它们,但我们必须拥有实时(或尽可能接近)翻译数据。

如果您的系统中有流数据,Amazon Kinesis Firehose 是理想之选。它将收集记录,对它们进行批处理并将它们加载到 Redshift 中。但是,对于您所描述的情况,它不是理想的解决方案,因为您的源是数据库而不是随机数据流。

由于您已经安装了数据库迁移服务,您可以继续使用它在 PostgreSQL 和 Redshift 之间进行连续数据复制。这将是最简单有效的解决方案。