如何将 Apache Storm 与 Solace 消息队列集成以接收来自 Solace 的消息......就像 spark 流集成
How to Integrate Apache Storm with Solace Message queue to receive messages from Solace .. just like spark streaming integration
我想从 Solace 队列接收消息,并希望通过 Apache Storm 存储在任何数据存储中,例如 Hbase/HDFS。
Solace 已发布 integration guide 以设置一个自定义接收器,它将消息存储在 Spark 内存中。
其他 integration guides 也可用,除了与 Apache Storm 的集成。
我不确定这是否可能。如果这是,
任何人都可以提供一些相同的指示(如果不是安慰其他消息提供者)如果他们已经这样做了?
查看 Apache Storm 的文档,有两种方法可以解决此问题。
- 通过 MQTT 集成 - https://storm.apache.org/releases/1.0.0/storm-mqtt.html
通过 JMS 集成 - https://github.com/ptgoetz/storm-jms
storm-jms 项目提供了一个 SpringJmsProvider
,您可以在其中使用 Spring 框架(Solace 有一个集成指南)来查找 ConnectionFactory
和 Destination
.
或者,您可以实现自己的 org.apache.storm.jms.JmsProvider
以在没有 Spring 框架的情况下提供 ConnectionFactory
和 Destination
。
我想从 Solace 队列接收消息,并希望通过 Apache Storm 存储在任何数据存储中,例如 Hbase/HDFS。
Solace 已发布 integration guide 以设置一个自定义接收器,它将消息存储在 Spark 内存中。 其他 integration guides 也可用,除了与 Apache Storm 的集成。
我不确定这是否可能。如果这是, 任何人都可以提供一些相同的指示(如果不是安慰其他消息提供者)如果他们已经这样做了?
查看 Apache Storm 的文档,有两种方法可以解决此问题。
- 通过 MQTT 集成 - https://storm.apache.org/releases/1.0.0/storm-mqtt.html
通过 JMS 集成 - https://github.com/ptgoetz/storm-jms
storm-jms 项目提供了一个
SpringJmsProvider
,您可以在其中使用 Spring 框架(Solace 有一个集成指南)来查找ConnectionFactory
和Destination
.或者,您可以实现自己的
org.apache.storm.jms.JmsProvider
以在没有 Spring 框架的情况下提供ConnectionFactory
和Destination
。