在 StormCrawler 中是否有任何系统的方法来打开或关闭某些 B​​olt?

Is there any systematic way to turn on or turn off some Bolt in StormCrawler?

我开发了一个 StormCrawler 项目,该项目在该拓扑中有多个额外的 Bolt。我的爬虫应该可以 7 X 24 不间断地工作。所以我无法重启爬虫并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时禁用和启用 StormCrawler 中某些 Bolt 的最佳方法是什么?

谢谢

没有开箱即用的方法,因此您必须在螺栓本身中实现用于调整螺栓开/关的逻辑。

如果你需要刷新他们的配置,你可以实现一个动态机制。例如,将螺栓的配置存储在弹性索引中,并定期重新加载该配置。

JSONURLFilterWrapper and the equivalent for the ParseFilter 我们已经有了类似的东西。我们可以有一个抽象的 ES-backed 可动态配置的螺栓。如果您认为这很有趣甚至更好,请随时在 GitHub 上提出问题,贡献一个 PR ;-)