如何使用开源kafka connect从Aurora连接MSK
How to connect MSK from Aurora using open source kafka connect
我必须将我的 CDC 更改从 Aurora mysql 数据库放入 MSK kafka 主题。
我认为 aws 中没有像 DMS 这样的内置机制,它将所有 CDC 从 Aurora 转移到 MSK 主题,并且在他们的文档中他们没有提到对此的任何支持。
所以我只剩下使用开源的东西了。
要使用它,我对此有一些疑问,请帮助我解决这个问题。
- 我正在做一些搜索,到处都看到 this.So 的 kafka-connect-jdbc 首先,这是这个开源免费许可证吗?
- 我也看到了 debezium 一个,它连接 mysql 到 msk。
Aurora 记录将是文本,我需要将记录作为 JSON 放入 MSK,所以我必须使用架构注册表? schema registry 是免费许可还是开源还是 MSK kafka 自带?
如果我必须使用来自 confluent 或 debezium 的 kafka -connect,我需要 EC2 实例。在此我需要安装什么?只有 kafka 或与 kafka confluent 和 debezium 以及。
请推荐一些免费许可和开源的东西。
1) 如果您想在 Zookeeper、Apache Kafka 代理和基础 Kafka Connect 之外使用 Confluent Platform 组件(例如 JDBC 连接器插件),请阅读 https://www.confluent.io/confluent-community-license-faq/
2) Debezium 应该可以正常工作。它在 Apache 2.0 许可证下;您可以使用 Apache Kafka,而不是 Confluent Platform 的其余部分
3a) Schema Registry 只能存储 Avro,不能 JSON。因此你不需要它。 3b) Schema Registry 许可见 1
4) 您将需要 EC2 或通过 ECS / EKS 使用 Docker Kafka Connect / Debezium 容器。
还有其他选项可以将 CDC 集成到 Kafka 中,我知道其中一些是开源的,甚至是商业支持的,但在这里列出它们的范围太广了。
关于内置的 AWS 服务,您可以在 Aurora 表上触发 lambda 函数来做任何您想做的事情
https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/
Lambda 可能已经/将最终与 MSK 集成
我必须将我的 CDC 更改从 Aurora mysql 数据库放入 MSK kafka 主题。 我认为 aws 中没有像 DMS 这样的内置机制,它将所有 CDC 从 Aurora 转移到 MSK 主题,并且在他们的文档中他们没有提到对此的任何支持。
所以我只剩下使用开源的东西了。 要使用它,我对此有一些疑问,请帮助我解决这个问题。
- 我正在做一些搜索,到处都看到 this.So 的 kafka-connect-jdbc 首先,这是这个开源免费许可证吗?
- 我也看到了 debezium 一个,它连接 mysql 到 msk。
Aurora 记录将是文本,我需要将记录作为 JSON 放入 MSK,所以我必须使用架构注册表? schema registry 是免费许可还是开源还是 MSK kafka 自带?
如果我必须使用来自 confluent 或 debezium 的 kafka -connect,我需要 EC2 实例。在此我需要安装什么?只有 kafka 或与 kafka confluent 和 debezium 以及。
请推荐一些免费许可和开源的东西。
1) 如果您想在 Zookeeper、Apache Kafka 代理和基础 Kafka Connect 之外使用 Confluent Platform 组件(例如 JDBC 连接器插件),请阅读 https://www.confluent.io/confluent-community-license-faq/
2) Debezium 应该可以正常工作。它在 Apache 2.0 许可证下;您可以使用 Apache Kafka,而不是 Confluent Platform 的其余部分
3a) Schema Registry 只能存储 Avro,不能 JSON。因此你不需要它。 3b) Schema Registry 许可见 1
4) 您将需要 EC2 或通过 ECS / EKS 使用 Docker Kafka Connect / Debezium 容器。
还有其他选项可以将 CDC 集成到 Kafka 中,我知道其中一些是开源的,甚至是商业支持的,但在这里列出它们的范围太广了。
关于内置的 AWS 服务,您可以在 Aurora 表上触发 lambda 函数来做任何您想做的事情
https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/
Lambda 可能已经/将最终与 MSK 集成