卡夫卡内存要求
Kafka Memory requirement
我是kafka的初学者
我们正在寻找我们的 kafka 集群（一个 5 节点集群）的大小以处理 17,000 events/sec，每个事件的大小为 600 字节。
我们计划复制 3 个事件并将事件保留一周
我阅读了 kafka 文档页面
assuming you want to be able to buffer for 30 seconds and
compute your memory need as write_throughput*30.
所以这整个写的是什么？如果它是每秒 MB 的数量 - 我正在查看 9960MB/Sec
if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )
那么 292GB 代表一个节点或整个集群（5 个节点）的内存需求是多少
对于内存和磁盘大小的一些见解，我将不胜感激。
问候
VB
如果您的消息大小为 600 字节，17k msg/s，那么您的吞吐量将约为 10MB/s [17000*600/(1024*1024)]。如果您对主题进行分区并使用 5 个代理，每个代理有 3 个副本 10/5*3 = 6MB/s，您需要缓冲，这在任何普通硬件上都不成问题。缓冲 30 秒将意味着 180MB 内存。
如果您指的是 600kB 的消息大小，那么您需要考虑添加大量非常快速的存储以达到 6GB/s，实际上增加节点的数量会更好改为群集。
我是kafka的初学者
我们正在寻找我们的 kafka 集群（一个 5 节点集群）的大小以处理 17,000 events/sec，每个事件的大小为 600 字节。 我们计划复制 3 个事件并将事件保留一周
我阅读了 kafka 文档页面
assuming you want to be able to buffer for 30 seconds and
compute your memory need as write_throughput*30.
所以这整个写的是什么？如果它是每秒 MB 的数量 - 我正在查看 9960MB/Sec
if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )
那么 292GB 代表一个节点或整个集群（5 个节点）的内存需求是多少
对于内存和磁盘大小的一些见解，我将不胜感激。
问候 VB
如果您的消息大小为 600 字节，17k msg/s，那么您的吞吐量将约为 10MB/s [17000*600/(1024*1024)]。如果您对主题进行分区并使用 5 个代理，每个代理有 3 个副本 10/5*3 = 6MB/s，您需要缓冲，这在任何普通硬件上都不成问题。缓冲 30 秒将意味着 180MB 内存。
如果您指的是 600kB 的消息大小，那么您需要考虑添加大量非常快速的存储以达到 6GB/s，实际上增加节点的数量会更好改为群集。