Flafka (Http -> Flume->Kafka ->Spark Streaming)

Question

我有一个实时流的用例，我们将使用 Kafka(0.9) 作为消息缓冲区，使用 spark streaming(1.6) 进行流处理 (HDP 2.4)。我们将在 Http 上收到 ~80-90K/Sec 事件。您能否建议一个推荐的架构，用于将数据摄取到 Kafka 主题中，这些主题将由 Spark Streaming 使用。

我们正在考虑 flafka 架构。

Flume 监听 Http 并发送到 Kafka (Flafka ) 进行实时流式传输是一个不错的选择吗？

如果有其他可能的方法，请分享。

Answer 1

一种方法可以是 Kafka Connect. Look for 满足您需求的资源或开发自定义的新资源。