Akka Stream 与 Spark Stream

Akka Stream vs Spark Stream

使用 akka stream 和 spark stream 进行流处理的 advantage/disadvantage 是什么?比如,内置背压、性能、容错、内置转换、灵活性等。我不是在问 akka vs spark pros/cons 严格的流组件。另外,我不是在询问引擎盖框架架构的差异。

A​​kka Streams 和 Spark 流来自 2 个不同的领域。不要让 "streams" 这个词让您感到困惑。

A​​kka 流实现了一种叫做反应式宣言的东西,它非常适合实现真正的低延迟,并提供大量运算符来轻松地在流上编写声明式转换。有关更多信息,请访问 https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation

Spark Streaming aka Structured Streaming 从 2.2 开始仍然是一种微批处理方法来处理大量数据(大数据)。事件被收集,然后每隔几秒以小批量定期处理。

A​​kka streams 基本上不是分布式的,也不会跨集群横向扩展,不像 Spark.Akka streams 使用 Akka 的 actor 模型来实现并发。

A​​kka streams 是一个工具包,Spark 是一个框架。 PS:几个月前我也有同样的问题。花了一段时间才得到我的答案。希望对你有帮助。