我们如何将 kafka 主题转储到 presto 中

How we can Dump kafka topic into presto

我需要将 JSON 文件推送到 Kafka 主题中,快速连接主题并将 JSON 数据结构化为可查询的 table。

我正在学习本教程https://prestodb.io/docs/current/connector/kafka-tutorial.html#step-2-load-data

我无法理解此命令的工作原理。

$ ./kafka-tpch load --brokers localhost:9092 --prefix tpch。 --tpch-type tiny

假设我已经使用 producer 在 kafka 中创建了测试主题。这个话题的tpch文件将如何生成?

如果您已经有一个主题,您应该跳到第 3 步,它实际上设置了要通过 Presto 查询的主题

kafka-tpch load 创建具有指定前缀的新主题

以上命令创建了一个 tpch 模式并在其下加载各种表。这可以用于测试目的。如果您想使用实际的 kafka 主题,则需要在 /catalog/kafka.properties against kafka.tables-names 中登记它们。如果您只是提供一个没有前缀的主题名称(例如 test_topic),它将进入“默认”模式。但是,如果您指定带有前缀的主题名称(例如 test_schema.test_topic),则该主题将出现在 test_schema 下。使用 presto 查询时,您可以提供此架构名称。