如何增加火花流接收器
How to increase spark streaming receivers
我的 spark 流应用程序使用
监控一个目录
filestream .
如何增加接收者数量？？
监控目录没有其他 Spark Streaming 接收器面临的相同接收器挑战。由于它是一个文件流，Spark 能够使用标准机制，工作人员可以直接从文件中读取数据。根据编程指南 "Every input DStream (except file stream, discussed later in this section) is associated with a Receiver (Scala doc, Java doc) object which receives the data from a source and stores it in Spark’s memory for processing." 所以这不是担心 :)
我的 spark 流应用程序使用
监控一个目录filestream .
如何增加接收者数量？？
监控目录没有其他 Spark Streaming 接收器面临的相同接收器挑战。由于它是一个文件流，Spark 能够使用标准机制，工作人员可以直接从文件中读取数据。根据编程指南 "Every input DStream (except file stream, discussed later in this section) is associated with a Receiver (Scala doc, Java doc) object which receives the data from a source and stores it in Spark’s memory for processing." 所以这不是担心 :)