在 Spark Streaming 期间有多少台服务器在监听?
How many servers are listening during a Spark Streaming?
我正在检查我的集群的配置,我想通过最小化实际可以访问 http 协议的机器数量来加强安全性
所以我的问题是:在进行 Spark 流式传输时(比如通过 Twitter 提要),驱动程序是唯一一个监听流的服务器,然后将数据作为 RDD 重新分发给执行程序,还是每个服务器都是执行者听流?
Spark Streaming 将为在 Spark Streaming 配置期间创建的每个接收器发出长 运行 任务。这些接收器分配在集群上的某个节点上。
如果要指定实例化每个接收器的主机,则必须扩展接收器实现并实现
def preferredLocation: Option[String]
我正在检查我的集群的配置,我想通过最小化实际可以访问 http 协议的机器数量来加强安全性
所以我的问题是:在进行 Spark 流式传输时(比如通过 Twitter 提要),驱动程序是唯一一个监听流的服务器,然后将数据作为 RDD 重新分发给执行程序,还是每个服务器都是执行者听流?
Spark Streaming 将为在 Spark Streaming 配置期间创建的每个接收器发出长 运行 任务。这些接收器分配在集群上的某个节点上。
如果要指定实例化每个接收器的主机,则必须扩展接收器实现并实现
def preferredLocation: Option[String]