FiveTran 与每天恢复的 PostgreSQL 数据库连接
FiveTran connects with PostgreSQL database restored every day
我已经设置了一个 Fivetran 连接器来连接到 EC2 服务器和雪花中的 PostgreSQL 数据库。连接似乎有效（没有错误），但数据并没有真正更新。
在 EC2 服务器上，每天都有一个脚本会拉取我们应用程序生产数据库的最新转储并将其恢复到 EC2 服务器上，然后 Fivetran 连接器有望将数据库同步到雪花。但是第一个设置日期之后的数据不会与雪花同步。 FiveTran 可以用于这样的设置吗？如果是这样，您知道同步失败可能是什么问题吗？
Could FiveTran be used in such a setup?
是的，但并不理想。
If so, do you know what may be the issue of the sync failing?
但是，如果没有更多上下文，很难回答这个问题：Fivetran 使用日志记录来复制您的数据库（在 PostgreSQL 的情况下是 WAL），因此如果您每天恢复数据库，Fivetran 将失去对更改的跟踪并且将需要 re-sync 整个数据库。
NickW 的观点是完全正确的，为什么不从数据库中复制？我假设答案与您需要修改的数据一致。您可以使用列阻塞 and/or 哈希来防止敏感数据被传输，或者在将其刷新到 Snowflake 之前对其进行混淆处理。
我已经设置了一个 Fivetran 连接器来连接到 EC2 服务器和雪花中的 PostgreSQL 数据库。连接似乎有效（没有错误），但数据并没有真正更新。
在 EC2 服务器上，每天都有一个脚本会拉取我们应用程序生产数据库的最新转储并将其恢复到 EC2 服务器上，然后 Fivetran 连接器有望将数据库同步到雪花。但是第一个设置日期之后的数据不会与雪花同步。 FiveTran 可以用于这样的设置吗？如果是这样，您知道同步失败可能是什么问题吗？
Could FiveTran be used in such a setup?
是的，但并不理想。
If so, do you know what may be the issue of the sync failing?
但是，如果没有更多上下文，很难回答这个问题：Fivetran 使用日志记录来复制您的数据库（在 PostgreSQL 的情况下是 WAL），因此如果您每天恢复数据库，Fivetran 将失去对更改的跟踪并且将需要 re-sync 整个数据库。
NickW 的观点是完全正确的，为什么不从数据库中复制？我假设答案与您需要修改的数据一致。您可以使用列阻塞 and/or 哈希来防止敏感数据被传输，或者在将其刷新到 Snowflake 之前对其进行混淆处理。