如何 运行 在分布式环境中使用 nutch 服务器
How to run nutch server on distributed environment
我在服务器模式下测试了 运行 nutch，方法是使用 bin/nutch startserver 命令在本地 启动它。现在我想知道我是否可以在 hadoop 集群（分布式环境）之上以 服务器模式 启动 nutch 并使用 nutch REST api 向服务器提交抓取请求？
请帮忙。
通过进一步研究，我得到了在分布式模式下工作的 nutch 服务器。
步骤：-
- 假设所有从节点都配置了hadoop。然后在所有节点中设置 nutch。这可以帮助：http://wiki.apache.org/nutch/NutchHadoopTutorial
- 在你的名字节点上，
cd $NUTCH_HOME/runtime/deploy
bin/nutch startserver -port <port> -host <host>
注意：端口和主机是可选的。- 然后您可以使用 REST 从 nutch 提交请求。您提交的请求将被第 3 步启动的 nutch 服务器接受。
快乐爬行:)
我在服务器模式下测试了 运行 nutch，方法是使用 bin/nutch startserver 命令在本地 启动它。现在我想知道我是否可以在 hadoop 集群（分布式环境）之上以 服务器模式 启动 nutch 并使用 nutch REST api 向服务器提交抓取请求？ 请帮忙。
通过进一步研究，我得到了在分布式模式下工作的 nutch 服务器。
步骤：-
- 假设所有从节点都配置了hadoop。然后在所有节点中设置 nutch。这可以帮助：http://wiki.apache.org/nutch/NutchHadoopTutorial
- 在你的名字节点上，
cd $NUTCH_HOME/runtime/deploy bin/nutch startserver -port <port> -host <host>注意：端口和主机是可选的。- 然后您可以使用 REST 从 nutch 提交请求。您提交的请求将被第 3 步启动的 nutch 服务器接受。
快乐爬行:)