Exasol 与 HBase

Exasol vs HBase

我对大数据架构还很陌生,所以请不要对我太苛刻。

我正在尝试找出构建能够处理大量数据的 BI 架构的最佳替代方案。在我看来,解决方案必须 clustered/horizontally 可扩展以应对系统的增长。我希望能够使用 SQL 与系统进行交互,因此 HBase + Hive(甚至 Pig,不适用于 sql 但不需要手动编写 MR 任务)可能是一个解决方案。与例如 Exasolution 及其 In-Memory - MPP - Columnar 解决方案相对的这种架构的 benefits/disadvantages 是什么。

是否有其他可能有一些额外好处的替代方案?维护和配置呢?任何 Microsoft 解决方案(我可能会发现客户对此有特定需求)

很抱歉发布这样一个悬而未决的问题,但我希望看到一些讨论,以便我可以尽可能多地向您学习。

虽然我是 EXASOL 的一员,但我不会开始试图说服您 EXASOL 是唯一且唯一的好解决方案。这在很大程度上取决于您尝试实现的用例以及您必须满足的要求。

Hadoop 是一个非常灵活、可扩展的系统,经常用于存储和处理大量数据。

EXASOL 相反,它是一个专门用于复杂分析查询处理的 RDBMS。

我认为这两个选项并不真正直接竞争,而是相互补充。在许多情况下,公司需要一个可扩展的数据湖来存储和预处理数据,或者以相当简单的方式查询数据。一旦您想进入具有复杂分析的实时业务,其中有数十、数百甚至数千名分析师进行 运行 大量查询,那么内存 RDBMS 是一个不错的选择。

King,Candy Crush 的制作人,将这两个世界 结合到一个强大的数据管理生态系统中。他们在 Hadoop 中存储数 PB 的数据,并在顶部使用 EXASOL 作为存储数百 TB 数据的内存层。您可以在此处阅读有关该令人兴奋的用例的更多信息:http://bit.ly/1TR8APY

这两个世界的另一个重要区别是复杂性。虽然 EXASOL 是免调整的,因为它是针对特定用例 运行 SQL 查询或 R/Python/Java 数据库内分析的专用系统(类似于设备),但 Hadoop 堆栈是复杂得多。您需要一定程度的知识来设置、维护和调整此系统。这不需要成为这两个选项中任何一个的原因。如前所述,这在很大程度上取决于您想要什么。

价格角度,Hadoop 是免费的,因此它应该比 EXASOL 等内存数据库便宜得多,对吧?等一下,没那么容易。同样,您必须考虑全局。您真正想要存储多少数据,其中有多少需要查询以进行分析,您需要购买多少硬件,您需要雇用和培训多少人来操作或部署在系统上的分析.

总结

总结一下我的想法,世界太复杂了,无法直接比较这两种技术。根据用例和您的个人要求,其中一个可能是更好的选择。在我看来,市场趋势是将此类系统结合到数据管理生态系统中,您可以在其中充分利用两个世界……实际上是三个世界,因为运营数据处理的世界 NoSQL 解决方案也应该在这里提到。

希望对您有所帮助。如果您需要更多详细信息,尤其是关于 EXASOL 的详细信息,请随时与我联系或在 LinkedIn 上与我联系:de.linkedin.com/in/exagolo