使用 Apache Drill 查询 kafka

Question

我一直在尝试找出一种使用 Apache Drill 来查询 Kafka 主题的方法 SQL。有人可以给我一个起点，以便我如何将 drill 连接到 kafka。任何帮助将不胜感激。

Answer 1

在 Drill 1.12 中添加了查询 Kafka 的支持。我自己没有使用过它，但我会提供一个 quick 的一般配置大纲 required。如果您运行遇到更多问题，请通过 Drill 的邮件列表 http://drill.apache.org/mailinglists/ 联系我们。我们可以帮助您调试问题，然后在此处 post 结果。

您需要做的事情的大纲如下：

在 Drill 的网站中创建一个存储插件 ui。将插件命名为 kafka

{
  "bootstrap.servers": "broker_1:port1,broker_2:port2",
  "group.id": "drill-consumer-group-1",
  "enabled": true
}

创建插件配置后，为您的查询设置适当的 kafka 消息反序列化器： alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader
同时设置适用于您的查询的轮询超时： alter session set store.kafka.poll.timeout = 200
尝试查询：select * from kafka.myTopic;

使用 Apache Drill 查询 kafka

Using Apache Drill to query kafka

apache-kafka

apache-drill