我需要一些关于德鲁伊和元市场的建议

I need some advice about druid and metamarkets

我需要一个解决方案来存储日志(或多或少遵循 10 种标准格式之一),最好是实时的,在一个查询速度快并且可以很容易地给我结果的数据库中各种有线查询。例如。在文本正文中查找关键字的查询,涉及多个表的查询。

向我推荐的一个解决方案是 MetaMarket,它似乎可以使用非常好的查询系统进行实时日志记录。但是我不确定成本以及是否需要这样一个复杂的解决方案。

据我了解,metamarket 的 "selling point" 是德鲁伊数据库,据说数据库是开源的,可以部署在他们的堆栈之外。所以我来这里想问的是:

你们有没有使用 Druid 部署实时日志系统的经验?有多难?花了多长时间 ?挑战是什么?除了德鲁伊,你还使用了哪些其他技术?你有什么推荐的读物吗?

你们中有人使用过 metamarket 吗?如果是这样,那么它有多难?花了多长时间 ?挑战是什么?一旦投入生产,成本如何?你有关于这个主题的推荐读物吗?

此外,还有一个额外的问题:"unbiased professionals" 实际上是否有任何关于德鲁伊的基准测试? Java里面写了一个real-time in real-time out的databse,好像有点……啊,难以置信。

这是快速回答。 德鲁伊确实是开源的,但这里缺少的 link 是一个很好的 UI,可以与德鲁伊一起使用。有一个 UI 曾经被称为 caravel,现在是超集,我想它可以做得很好。 关于 运行 一个德鲁伊集群,如果你有足够的资源(例如工程师)在 machines/cloud 上部署从打包到部署德鲁伊的所有管道,应该不会那么难。 最后一块是 monitoring/updating 集群,它也需要大量的工作。 是的,它是使用 JAVA 编写的,但许多其他实时软件就是这种情况,以 KAFKA 为例,事实上德鲁伊在堆外做了很多事情,并使用内存映射文件来提供数据。阅读 white paper 将提供对系统的 good/basic 理解,因此您可以找到德鲁伊是否适合的答案。