Meltano Kafka Monk.io 集成

Question

我正在玩 Monk.io 和 Kafka - Meltano 集成。因此，我想创建一个 Monk.io Kafka 集群并在 Meltano 上提供一个新连接。我正在为 Kafka 环境使用 https://github.com/lensesio/fast-data-dev。什么是最好的方法并且最有意义？我打算这样做：创建 Kafka 和 Meltano 的 runnable，并为 Meltano 模板创建 Monk 操作。这些操作将具有自定义的 Meltano 加载器，该加载器将为 Kafka 提供管道。

Answer 1

我没有测试与 Kafka 的集成，但在操作执行方面应该与 Postgres 相似，即如果 Meltano 存在这些 Kafka 插件，则添加加载程序或提取程序。

  actions:
    defines: actions
    add:
      arguments:
        resource-type:
          type: string
        resource-name:
          type: string
      code: exec("meltano", "/bin/sh", "-c", `cd elt && meltano add ${args["resource-type"]} ${args["resource-name"]}`)

工作流和模板在这里被抽象出来了https://github.com/monk-io/monk-dataops 所以Meltano 有没有好的Kafka 插件还是个问题

Meltano Kafka Monk.io 集成

Meltano Kafka Monk.io integration

etl

message-queue

apache-kafka

meltano