如何从 flink 获取 access/read kafka 主题数据？

Question

我正在尝试从 flink 读取 kafka 数据，由于我是 kafka 和 flink 的新手，我不知道如何连接它们。

Answer 1

Flink 提供了 Kafka 连接器。为了从 Kafka 主题中读取数据，首先您需要添加 Flink -Kafka 连接器依赖项。

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka-0.8_2.10</artifactId>
   <version>1.1.3</version>
</dependency>

接下来您只需调用Streaming执行环境并添加Kafka源。这是一个示例

Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("zookeeper.connect", "localhost:2181");  
properties.setProperty("group.id", "test");
DataStream<String> stream = env
 .addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(),properties))
.print();

就是这样。您已准备好使用来自 Kafka 主题的数据。

完整代码可在此link

下载

如何从 flink 获取 access/read kafka 主题数据？

How to access/read kafka topic data from flink?

apache-flink

apache-kafka-connect