Apache Kafka 中的消息是什么？

Question

我正在阅读有关 Apache Kafka 的教程。它说 netflix 在 36 个集群中有 4000 个代理，每天处理超过 7000 亿条消息。

当我们在 Netflix 的上下文中交谈时，这些消息可以指代什么？

Answer 1

Kafka 为记录流提供的核心抽象称为主题。您可以将主题想象成数据库中的表。一个数据库（Kafka）可以有多个表（主题）。就像在数据库中一样，一个主题可以有任何类型的记录，这取决于用例。

特别是对于 Netflix，我们可能有一个主题 users 包含该平台的用户：

{"userId":"1", "firstName":"Giorgos", "lastName":"Myrianthous"}

或包含电影详细信息的主题movies：

{"movieID":"1", "title":"Titanic", "genre":"drama", "rating":"5"}

其他主题可能还包括服务于内部 analytical/business 智能工具、机器学习算法（如推荐引擎）或警报机制的数据。

主题中的数据可以用各种类型表示，例如字符串、JSON 或 Avro。