为每个请求创建新的 Kafka Producer 对象

Question

我正在开发一个休息服务，它将根据主题将事件发布到kafka（使用java客户端），不同的主题可以有不同的编号。经纪人。我正在为每个将消息发送到 Kafka 的请求创建 Producer。我觉得这是低效的，可以通过维护生产者池来更易于管理，这真的有帮助吗？请提供建议。

Answer 1

您可以只使用一个制作人并针对不同的主题进行写作 (https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html). The class ProducerRecord offers a constructor that allows to specify the topic a record should be written to (https://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/producer/ProducerRecord.html)

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:4242");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
for(int i = 0; i < 100; i++)
    producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));

producer.close();

为每个请求创建新的 Kafka Producer 对象

Creating new Kafka Producer object for every request

java

message-queue

apache-kafka