Kafka Producer 似乎无法正常工作

Question

我有一个我在 Java 中编写的 Kafka 生产者。它似乎无法正常工作，即使它基本上是示例代码的删减。我希望向我的集群输出 10 条消息。相反，我得到了 Message Successful 输出，但实际上没有任何内容进入我的集群。我不确定从哪里开始进行故障排除。

import java.util.Properties;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class SimpleProducer {

 public static void main(String[] args) throws Exception{

    String topicName = "test_topic";
    Properties props = new Properties();
    props.put("bootstrap.servers", "skynet.local:6667");    
    props.put("acks", "all");
    props.put("retries", 0);
    props.put("batch.size", 16384);   
    props.put("linger.ms", 1);   
    props.put("buffer.memory", 33554432);
    props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer","org.apache.kafka.common.serialization.StringSerializer");

    Producer<String, String> producer = new KafkaProducer<String, String>(props);

    for(int i = 0; i < 10; i++)
       producer.send(new ProducerRecord<String, String>(topicName, Integer.toString(i), Integer.toString(i)));
       System.out.println("Message sent successfully");
       producer.close();
 }
}

Answer 1

因为一些环境还不清楚，所以我会尝试根据你的 Kafka 服务器已经在端口 6667 上工作来回答你的问题。

您的代码可能需要在 2 处进行调整（有人可以帮助我改进它）：

props.put("linger.ms", 1); // set to 0 let Producer can send message immediately

在这里，将 producer.close(); 退出 for 循环：

 Producer<String, String> producer = new KafkaProducer<String, String>(props, new StringSerializer(), new StringSerializer());
 for(int i = 0; i < 10; i++) {
   Future<RecordMetadata> f = producer.send(new ProducerRecord<String, String>(topicName, Integer.toString(i), Integer.toString(i)));
   System.out.println(f.get()); // don't do that in your Production, here just for debugging purpose.
 }
 producer.close();

还有一件事，您可以在测试之前运行 kafka-console-consumer.sh 和kafka-console-producer.sh 确认您的 Kafka 服务器和您的 SimpleProducer 已经在工作。 Kafka 0.10.x 配置参数在 Kafka Producer Configuration Parameters

Kafka Producer 似乎无法正常工作

Kafka Producer does not appear to work properly

java

apache-kafka

kafka-producer-api