用于实时交易平台的 kafka 每分钟处理 $mns 的交易？

Question

有熟悉Kafka和银行实时交易预约功能的朋友吗？你能推荐 kafka 的 24/7 正常运行时间、高耐用性、每秒 10k 消息、多区域、无限数据保留处理（真实来源）的交易系统，每周处理价值数十亿美元的金融 txns 吗？

Answer 1

已知有许多银行和金融服务在使用 Kafka，例如 GS。是其中之一

24/7 正常运行时间是什么意思？如果您的意思是 24/7 可用性，是的。像许多其他分布式系统一样，Kafka 提供复制来实现这一点，并且如果小心一点，它甚至可以承受整个数据中心的停机时间。

据我所知，无限数据保留是不可配置的，但您可以将 log.retention.hours 设置为一个非常高的数字。但是消息代理不一定是最好的真相来源。

您想通过密钥随机访问您的数据吗？卡夫卡是一个糟糕的选择。您有复杂的范围查询吗？相同的。但是您仍然可以使用 Kafka 作为您的主要数据存储，并使用缓存或索引 KV 存储作为辅助存储。所以这实际上取决于您的用例、查询模式、您将如何按需重放数据等。

是否要使用 Kafka 作为数据源应该根据您的整体架构来决定，而不是相反。