为什么 Kafka connect 是轻量级的?

Why is Kafka connect light weight?

我一直在使用 kafka connect、Spark streaming、Nifi 和 kafka 来处理流数据。

我知道与其他技术不同,kafka connect 不是一个单独的应用程序,它是 kafka 的一个工具。

在分布式模式的情况下,所有技术都通过底层任务或线程实现并行性。是什么让kafka connect在与kafka打交道时高效,为什么叫轻量级?

它高效且轻量级,因为它使用内置的 Kafka 协议并且不需要 YARN 等外部系统。虽然可以说 better/easier 在 Mesos/Kubernetes/Docker 中部署 Connect,但不需要

connect API 也由核心 Kafka 开发人员维护,而不是那些只想简单集成到另一个工具中的人。比如我上次查看,NiFi无法访问Kafka消息时间戳。与使用 Confluent Certified Connectors 相比,在其他工具中处理 Avro Schema Registry 似乎是事后才想到的