是否可以使用 Kafka Simple Consumer 从多个分区读取数据？
Is it possible to read from multiple partitions using Kafka Simple Consumer?
是否可以使用 Kafka Simple Consumer 从多个分区读取数据？
Simple Consumer 使用分区如下：
PartitionMetadata metadata = findLeader(brokers, port, topic, partition);
SimpleConsumer consumer = new SimpleConsumer(leadBroker, port, 100000, 64 * 1024, clientName);
leadBroker = findNewLeader(leadBroker, topic, partition, port);
https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example
SimpleConsumer 的一个实例从单个分区读取。尽管您可以轻松地创建多个 SimpleConsumer 实例并顺序或并行（从不同线程）读取不同的分区。
棘手的部分是不同机器上的读取器之间的协调，这样它们就不会从同一个分区读取（假设所有消息只需要处理一次）。您需要使用高级消费者或编写类似的自定义代码来完成此操作。
一个线程将只读取一个分区。要从多个分区读取，您需要生成多个线程，每个线程将从单个分区读取。您必须 运行 在不同的线程中执行此操作，否则您将失去分区的好处，并且您的性能会受到影响。
对于初学者，您可以 运行 一台机器上的所有消费者。但最终你将不得不开始使用不同的机器进行消费。那时你需要确保一个分区只被处理一次。具体来说，您需要解决的问题是 2 个线程（来自不同的线程）正试图从同一分区读取数据。在任何时候，您都必须只允许一个人处理它。
此外，您需要管理偏移量。您需要定期在 zookeeper 中刷新它们。
我建议您使用 High Level Consumer。它比 Simple Consumer 更容易使用。它提供访问同一分区的不同线程之间的协调，并管理自己的偏移量。
是否可以使用 Kafka Simple Consumer 从多个分区读取数据？ Simple Consumer 使用分区如下：
PartitionMetadata metadata = findLeader(brokers, port, topic, partition);
SimpleConsumer consumer = new SimpleConsumer(leadBroker, port, 100000, 64 * 1024, clientName);
leadBroker = findNewLeader(leadBroker, topic, partition, port);
https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example
SimpleConsumer 的一个实例从单个分区读取。尽管您可以轻松地创建多个 SimpleConsumer 实例并顺序或并行（从不同线程）读取不同的分区。
棘手的部分是不同机器上的读取器之间的协调，这样它们就不会从同一个分区读取（假设所有消息只需要处理一次）。您需要使用高级消费者或编写类似的自定义代码来完成此操作。
一个线程将只读取一个分区。要从多个分区读取，您需要生成多个线程，每个线程将从单个分区读取。您必须 运行 在不同的线程中执行此操作，否则您将失去分区的好处，并且您的性能会受到影响。
对于初学者，您可以 运行 一台机器上的所有消费者。但最终你将不得不开始使用不同的机器进行消费。那时你需要确保一个分区只被处理一次。具体来说，您需要解决的问题是 2 个线程（来自不同的线程）正试图从同一分区读取数据。在任何时候，您都必须只允许一个人处理它。
此外，您需要管理偏移量。您需要定期在 zookeeper 中刷新它们。
我建议您使用 High Level Consumer。它比 Simple Consumer 更容易使用。它提供访问同一分区的不同线程之间的协调，并管理自己的偏移量。