运行 在本地模式下安装 StormCrawler 还是安装 Apache Storm?
Run StormCrawler in local mode or install Apache Storm?
所以我正在尝试弄清楚如何按照 here 中所述使用 ES 和 Kibana 安装和设置 Storm/Stormcrawler。
我从来没有在我的本地机器上安装过 Storm,因为我以前使用过 Nutch,我从来没有在本地安装过 Hadoop...我认为它可能与 Storm 相同(也许不是?)。
我现在想开始使用 Stormcrawler 而不是 Nutch 进行爬网。
似乎如果我只下载一个版本并将 /bin 添加到我的 PATH,我 只能 与远程集群通信。
看来我需要根据 this 设置一个开发环境,让我能够随着时间的推移开发不同的拓扑结构,然后在准备部署时从我的本地机器与远程集群通信新拓扑。是吗?
看来我需要做的就是在使用 Maven 构建 Stormcrawler 项目时将 Storm 添加为依赖项?
见Getting Started page and the tutorials on Youtube。
您不需要安装 Storm,因为您可以 运行 本地模式下的拓扑,就像您对 Nutch 和 Hadoop 所做的那样。只需从原型生成拓扑,根据您的需要对其进行修改,例如添加 ES 组件并使用 -local 运行 它。请参阅原型生成的自述文件。
稍后,您将在多个节点上安装 Storm 以从 UI 和可能 运行 中受益,但作为起点,在本地执行它是探索StormCrawler.
所以我正在尝试弄清楚如何按照 here 中所述使用 ES 和 Kibana 安装和设置 Storm/Stormcrawler。
我从来没有在我的本地机器上安装过 Storm,因为我以前使用过 Nutch,我从来没有在本地安装过 Hadoop...我认为它可能与 Storm 相同(也许不是?)。
我现在想开始使用 Stormcrawler 而不是 Nutch 进行爬网。
似乎如果我只下载一个版本并将 /bin 添加到我的 PATH,我 只能 与远程集群通信。
看来我需要根据 this 设置一个开发环境,让我能够随着时间的推移开发不同的拓扑结构,然后在准备部署时从我的本地机器与远程集群通信新拓扑。是吗?
看来我需要做的就是在使用 Maven 构建 Stormcrawler 项目时将 Storm 添加为依赖项?
见Getting Started page and the tutorials on Youtube。
您不需要安装 Storm,因为您可以 运行 本地模式下的拓扑,就像您对 Nutch 和 Hadoop 所做的那样。只需从原型生成拓扑,根据您的需要对其进行修改,例如添加 ES 组件并使用 -local 运行 它。请参阅原型生成的自述文件。
稍后,您将在多个节点上安装 Storm 以从 UI 和可能 运行 中受益,但作为起点,在本地执行它是探索StormCrawler.