寻找在 AWS Aurora DB 中的 Postgres 数据库 运行 之间同步数据的解决方案(也许是 pgsync?)
Looking for a solution to synchronize data between Postgres database running in AWS Aurora DB (pgsync maybe?)
我们正在尝试找到一种解决方案,将数据从一个数据库(我们称之为 Master)数据库同步到另一个数据库(我们称之为 Analytics) 在 Analytics.
中执行 ETL 操作
设置如下:
- 来自 Master 的表将在 Analytics
中复制
- Analytics 中的复制表在分析中是只读的,但在某些 ETL 脚本中(其中一些纯粹 SQL)用于在其他表中执行一些插入在 分析
根据我们的初步研究,PGSync 似乎是执行此操作的一个很好的解决方案。我们也一直在尝试 AWS DMS,但它对 Master 上的资源造成了过多的拖累。
过去有没有人尝试过类似的设置?很想听听您的想法!
您可以在 AWS RDS here is some additional info 中创建 read_replicas。
我认为这就是您要搜索的内容 - 请注意,对于极光,读取副本在发生故障时也可以成为主服务器。
我建议使用数据库链接,因为我曾经使用过它在 Postgres 和 Redshift 之间进行分析,因此在 Postgres 和 Postgres 之间使用它是可行的
Postgres 到 redshift 之间的示例。
https://aws.amazon.com/blogs/big-data/join-amazon-redshift-and-amazon-rds-postgresql-with-dblink/
我们正在尝试找到一种解决方案,将数据从一个数据库(我们称之为 Master)数据库同步到另一个数据库(我们称之为 Analytics) 在 Analytics.
中执行 ETL 操作设置如下:
- 来自 Master 的表将在 Analytics 中复制
- Analytics 中的复制表在分析中是只读的,但在某些 ETL 脚本中(其中一些纯粹 SQL)用于在其他表中执行一些插入在 分析
根据我们的初步研究,PGSync 似乎是执行此操作的一个很好的解决方案。我们也一直在尝试 AWS DMS,但它对 Master 上的资源造成了过多的拖累。
过去有没有人尝试过类似的设置?很想听听您的想法!
您可以在 AWS RDS here is some additional info 中创建 read_replicas。 我认为这就是您要搜索的内容 - 请注意,对于极光,读取副本在发生故障时也可以成为主服务器。
我建议使用数据库链接,因为我曾经使用过它在 Postgres 和 Redshift 之间进行分析,因此在 Postgres 和 Postgres 之间使用它是可行的
Postgres 到 redshift 之间的示例。
https://aws.amazon.com/blogs/big-data/join-amazon-redshift-and-amazon-rds-postgresql-with-dblink/