Java 8 中的流:在集群上使用 parallelstream() 的简单解决方案?

Streams in Java 8: simple solution to use parallelstream() on a cluster?

parallelstream() 跨单台机器的内核提供流操作的无缝并行化。

如何扩展此逻辑,以便 parallelstream() 将这些操作分发到集群中的所有机器?

理想情况下:
- 我创建了一个机器集群,使用框架??
- 启动 myCollection.parallelstream().filter(something).collect() 将作业分发到集群所有机器的所有核心,并将结果 returns 分发到引导集群的机器。

Spark 似乎做你想做的事,即在节点上分配工作。 dsl 看起来类似于 java 8 个流。 您还可以查看 akka 流。使用 akka 流不允许你开箱即用地做你想做的事,但它为你提供了一个工具箱来帮助你获得一个不错的 dsl。