Apache flume 和 Apache 风暴有什么区别?

What is difference between Apache flume and Apache storm?

Apache flume 和 Apache 风暴有什么区别?

  • Apache Flume 是一种用于收集大量流数据(尤其是日志)的服务。 Flume 使用称为数据接收器的机制将数据推送给消费者。 Flume 可以立即将数据推送到许多流行的接收器,包括 HDFS、HBase、Cassandra 和一些关系数据库。
  • Apache Storm 涉及流数据。它是批处理和流处理之间的桥梁,而 Hadoop 本身并不是为处理流处理而设计的。 Storm 连续运行,处理传入数据流并将其分成批次,因此 Hadoop 可以更轻松地摄取它。数据源称为喷口,每个处理节点都是一个螺栓。 Bolts 对数据执行计算和处理,包括将输出推送到数据存储和其他服务。
  • 如果您需要开箱即用的功能,请选择 Flume,一旦您决定是推还是拉更有意义。如果流数据目前只是您已开发的 Hadoop 环境的一个小插件,Storm 是一个不错的选择。

  • 可以使用风暴将日志数据提取到 Hadoop 集群中

  • 我们可以使用风暴来替代 flume