使用 maven 部署 Storm 拓扑
Storm topology deployment using maven
我有一个流处理管道,如下所示。
首先,我使用 Kafka 对消息进行排队。
接下来,我通过创建 Storm 拓扑来应用一些业务逻辑。
最后,我将数据流推送到 Elastic Search。
所有这些都捆绑到一个 Maven 项目中。构建 Maven 项目后,我必须手动将拓扑部署到 Storm 存储库。有没有办法使这个过程自动化?意思是,我可以 create/build 我的 Maven 项目,只要它构建 JAR,它就会将 JAR 连同定义 class 的拓扑名称一起上传到 Storm 存储库吗?
我不确定,你所说的 "uploading to Storm repo" 是什么意思,不过,我猜 exec-maven-plugin
是你的朋友:http://www.mojohaus.org/exec-maven-plugin/
您可以在构建期间触发任意程序的执行。因此,您可以提供一个执行上传的 shell 脚本,并在 jar 组装后调用它。
我有一个流处理管道,如下所示。
首先,我使用 Kafka 对消息进行排队。 接下来,我通过创建 Storm 拓扑来应用一些业务逻辑。 最后,我将数据流推送到 Elastic Search。
所有这些都捆绑到一个 Maven 项目中。构建 Maven 项目后,我必须手动将拓扑部署到 Storm 存储库。有没有办法使这个过程自动化?意思是,我可以 create/build 我的 Maven 项目,只要它构建 JAR,它就会将 JAR 连同定义 class 的拓扑名称一起上传到 Storm 存储库吗?
我不确定,你所说的 "uploading to Storm repo" 是什么意思,不过,我猜 exec-maven-plugin
是你的朋友:http://www.mojohaus.org/exec-maven-plugin/
您可以在构建期间触发任意程序的执行。因此,您可以提供一个执行上传的 shell 脚本,并在 jar 组装后调用它。