如何使用来自其他虚拟机的 Spark Streaming 和 kafka

Question

我在虚拟机上安装了 Spark Streaming，我想将它连接到另一个包含 kafka 的虚拟机。我想让Spark从kafka机器上获取数据。 可以这样做吗？

谢谢

Answer 1

是的，绝对有可能。事实上，这就是我们拥有分布式系统的原因:)

在编写 Spark Streaming 程序时，如果您使用的是 Kafka，则必须创建一个 Kafka 配置数据结构（语法会因您的编程语言和客户端而异）。在该配置结构中，您必须指定 Kafka 代理 IP。这将是您的 Kafka VM 的 IP。

然后您只需要 运行 在您的 Spark VM 上运行 Spark Streaming 应用程序。

Answer 2

将它们放在不同的 VM 上是可能的，而且非常有意义。这样就可以明确区分角色。