Spark 2 和 Kafka 2.1 的 Spark Streaming

Spark Streaming with Spark 2 and Kafka 2.1

我正在将 Java 项目从 Cloudera 5.10 升级到 Cloudera 6.2。我们有 Spark Streaming 从 Kafka 读取数据来处理它并将结果写入其他地方。升级期间，Spark 从 v1.6 升级到 v2.1，Kafka 从 v0.8 升级到 v2.1。

为了执行流式处理，我们使用 KafkaUtils.createStream(...) 连接到 Kafka，但 KafkaUtils 在 Kafka 2.11 中不再可用。但是，我似乎无法在 Java.

中找到任何不使用此方法的 Spark Streaming + Kafka 示例或文档。

有什么我想念的吗？在这些版本中连接两个世界的最佳方式是什么？

模块已重命名为 spark-streaming-kafka-0-10

但是，您应该考虑改用结构化流。