将数据从 MySQL 二进制日志流式传输到 Kinesis
Stream data from MySQL Binary Log to Kinesis
我们有一个来自遗留系统的写入密集型 table（在 AWS RDS MySQL 上），我们希望从那个 [=19] 流式传输每个写入事件（插入或更新） =] 运动。这个想法是创建一个管道来预热缓存和更新搜索引擎。
目前我们使用基本的轮询架构来做到这一点，基本上使用 SQL，但理想的是让推送架构直接从事务日志中读取事件。
有人试过吗？有什么建议的架构吗？
我已经在 Oracle 中与一些客户合作过。似乎 LinkedIn 使用了很多将数据从数据库流式传输到其他地方的技术。他们创建了一个名为 Databus 的平台，以不可知论的方式实现这一目标 - https://github.com/linkedin/databus/wiki/Databus-for-MySQL.
Github 中有一个 public 项目，遵循 LinkedIn 原则，已经将 binlog 从 Mysql 流式传输到 Kinesis Streams - https://github.com/cmerrick/plainview
如果您想深入了解 LinkedIn 方法的具体细节，可以使用一个非常不错（且内容广泛）的博客 post - https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying.
最后但同样重要的是，Yelp 也在这样做，但是使用 Kafka - https://engineeringblog.yelp.com/2016/08/streaming-mysql-tables-in-real-time-to-kafka.html
没有深入了解 Kinesis Streams 的基础知识，为了简洁起见，如果我们将 Kinesis Streams 引入游戏，我不明白为什么它不应该起作用。事实上，它就是为此而构建的——您的数据库事务日志是一个事件流。借用 Amazon Web Services public 文档的摘录：Amazon Kinesis Streams 允许进行实时数据处理。借助 Amazon Kinesis Streams，您可以在数据生成时持续收集数据，并及时对有关您的业务和运营的关键信息做出反应。
希望这对您有所帮助。
aws DMS 服务提供从 SQL db 到 kinesis 的数据迁移。
我们有一个来自遗留系统的写入密集型 table（在 AWS RDS MySQL 上），我们希望从那个 [=19] 流式传输每个写入事件（插入或更新） =] 运动。这个想法是创建一个管道来预热缓存和更新搜索引擎。
目前我们使用基本的轮询架构来做到这一点，基本上使用 SQL，但理想的是让推送架构直接从事务日志中读取事件。
有人试过吗？有什么建议的架构吗？
我已经在 Oracle 中与一些客户合作过。似乎 LinkedIn 使用了很多将数据从数据库流式传输到其他地方的技术。他们创建了一个名为 Databus 的平台，以不可知论的方式实现这一目标 - https://github.com/linkedin/databus/wiki/Databus-for-MySQL.
Github 中有一个 public 项目，遵循 LinkedIn 原则，已经将 binlog 从 Mysql 流式传输到 Kinesis Streams - https://github.com/cmerrick/plainview
如果您想深入了解 LinkedIn 方法的具体细节，可以使用一个非常不错（且内容广泛）的博客 post - https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying.
最后但同样重要的是，Yelp 也在这样做，但是使用 Kafka - https://engineeringblog.yelp.com/2016/08/streaming-mysql-tables-in-real-time-to-kafka.html
没有深入了解 Kinesis Streams 的基础知识，为了简洁起见，如果我们将 Kinesis Streams 引入游戏，我不明白为什么它不应该起作用。事实上，它就是为此而构建的——您的数据库事务日志是一个事件流。借用 Amazon Web Services public 文档的摘录：Amazon Kinesis Streams 允许进行实时数据处理。借助 Amazon Kinesis Streams，您可以在数据生成时持续收集数据，并及时对有关您的业务和运营的关键信息做出反应。
希望这对您有所帮助。
aws DMS 服务提供从 SQL db 到 kinesis 的数据迁移。