Nutch 和 Elasticsearch
Nutch and Elasticsearch
我正在使用 Elasticsearch、AngularJS 和 Nutch 构建一个小型搜索应用程序。我几乎已经完成了 ES 和 AngularJS 部分。现在是 Nutch 和 ES 部分的时候了,使用 Nutch 将数据抓取并索引到 ES 中。我一直在使用 Nutch 1.10 和 ES 1.4。我一直在使用 Nutch v1.10 在我的本地机器上对大约(~50 个站点)进行一些初步的小型爬网。我现在看到 ES 达到 v2.3 或类似版本,而且 Nutch v1.11 似乎仍在使用 ES v1.4。
有没有人有使用 Nutch v1.10 与 ES 大于 1.4(可能是 ES v1.5 或 v1.7)的任何版本的经验?
如果可能的话,我想留在 Nutch 1.x 分支。
我没有将 Nutch 与 ES 1.5/1.6/1.7 一起使用,但 indexer-elastic
插件使用的 API 之间应该没有重大变化。我只是按照 https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt 和 built/tested (ant test
) Nutch 1.11 和 ES 1.7.2 中的说明进行操作,没有任何问题。这意味着,代码构建正常,但我没有测试 将实际数据索引 到 Elasticsearch 中。
您必须构建自己的 Nutch 发行版,我建议您将 elasticsearch 客户端版本与 ES 服务器版本保持同步。
我正在使用 Elasticsearch、AngularJS 和 Nutch 构建一个小型搜索应用程序。我几乎已经完成了 ES 和 AngularJS 部分。现在是 Nutch 和 ES 部分的时候了,使用 Nutch 将数据抓取并索引到 ES 中。我一直在使用 Nutch 1.10 和 ES 1.4。我一直在使用 Nutch v1.10 在我的本地机器上对大约(~50 个站点)进行一些初步的小型爬网。我现在看到 ES 达到 v2.3 或类似版本,而且 Nutch v1.11 似乎仍在使用 ES v1.4。
有没有人有使用 Nutch v1.10 与 ES 大于 1.4(可能是 ES v1.5 或 v1.7)的任何版本的经验?
如果可能的话,我想留在 Nutch 1.x 分支。
我没有将 Nutch 与 ES 1.5/1.6/1.7 一起使用,但 indexer-elastic
插件使用的 API 之间应该没有重大变化。我只是按照 https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt 和 built/tested (ant test
) Nutch 1.11 和 ES 1.7.2 中的说明进行操作,没有任何问题。这意味着,代码构建正常,但我没有测试 将实际数据索引 到 Elasticsearch 中。
您必须构建自己的 Nutch 发行版,我建议您将 elasticsearch 客户端版本与 ES 服务器版本保持同步。