Storm 拓扑中的 Solr 索引与 Hbase NG 索引器
Solr Indexing in Storm topology vs Hbase NG Indexer
我正在为 Solr 设计数据索引功能。我们正在使用 Storm Topology 并有一个 Hbase Bolt，它将数据添加到 Hbase 中。要求是我们添加到 Hbase 中的任何数据也需要被索引。
以下是选项：
- 将代码添加到 Solr 中的索引，在 Hbase bolt 本身中。
- 创建一个新的螺栓，并分离 Solr 索引
- 使用 Hbase ND 索引器，并将 Solr 索引器与 Hbase 行插入集成。
前两个选项，类似transaction，意思是Hbase和Solr都可以，或者none。但不确定，如果我们能做到这一点，因为我们正在处理大规模数据。
对于第三个选项，起点是 Hbase，因此假设所有数据都在那里。但是，我们无法完全控制调试，因为我们必须将 jar 部署到 Indexer 环境中。
请帮我看看哪个设计更好
经过一些分析，我们继续使用 NGHbas 索引器实现设计。一种说法是我们无法保证 hbase 和 solr 中的数据相同，因为我们无法处理大规模事务。我们也有类似的流数据设计。所以利用了setup
我正在为 Solr 设计数据索引功能。我们正在使用 Storm Topology 并有一个 Hbase Bolt，它将数据添加到 Hbase 中。要求是我们添加到 Hbase 中的任何数据也需要被索引。
以下是选项：
- 将代码添加到 Solr 中的索引，在 Hbase bolt 本身中。
- 创建一个新的螺栓，并分离 Solr 索引
- 使用 Hbase ND 索引器，并将 Solr 索引器与 Hbase 行插入集成。
前两个选项，类似transaction，意思是Hbase和Solr都可以，或者none。但不确定，如果我们能做到这一点，因为我们正在处理大规模数据。
对于第三个选项，起点是 Hbase，因此假设所有数据都在那里。但是，我们无法完全控制调试，因为我们必须将 jar 部署到 Indexer 环境中。
请帮我看看哪个设计更好
经过一些分析，我们继续使用 NGHbas 索引器实现设计。一种说法是我们无法保证 hbase 和 solr 中的数据相同，因为我们无法处理大规模事务。我们也有类似的流数据设计。所以利用了setup