Hazelcast 3.6.1 聚合
Hazelcast 3.6.1 Aggregation
我正在使用 Hazelcast 3.6.1。它被设置为 server/client。一个Map在服务器上(单节点),大概有4Gb的数据。我的程序创建了一个客户端,然后需要查找一些数据(非常小——比如 30MB)。所以我从地图上获取数据并循环遍历所有数据以搜索感兴趣的数据 - 在我知道之前进程大小是 4Gb(因为我在地图上获取了我正在分析的每条数据正在将其加载到内存中(惰性),直到加载所有数据!)。所以,我发现我可以使用聚合,我印象中的聚合都是在服务器端完成的,只有我感兴趣的部分返回给客户端,但客户端进程仍然增长到 350MB!
聚合是否仅在服务器上完成?
谢谢
首先,您应该升级到 Hazelcast 3.8.x 版本,因为新的聚合系统速度更快。除此之外,它取决于您尝试聚合的内容,但如果您进行真正的聚合,如 sum、min 或类似的聚合,聚合就是获得的方式。 3.8.x 快速聚合的文档可在此处获得:http://docs.hazelcast.org/docs/3.8.3/manual/html-single/index.html#fast-aggregations
经过一些测试后,聚合器的整理器部分似乎正在客户端上完成。
我正在使用 Hazelcast 3.6.1。它被设置为 server/client。一个Map在服务器上(单节点),大概有4Gb的数据。我的程序创建了一个客户端,然后需要查找一些数据(非常小——比如 30MB)。所以我从地图上获取数据并循环遍历所有数据以搜索感兴趣的数据 - 在我知道之前进程大小是 4Gb(因为我在地图上获取了我正在分析的每条数据正在将其加载到内存中(惰性),直到加载所有数据!)。所以,我发现我可以使用聚合,我印象中的聚合都是在服务器端完成的,只有我感兴趣的部分返回给客户端,但客户端进程仍然增长到 350MB!
聚合是否仅在服务器上完成?
谢谢
首先,您应该升级到 Hazelcast 3.8.x 版本,因为新的聚合系统速度更快。除此之外,它取决于您尝试聚合的内容,但如果您进行真正的聚合,如 sum、min 或类似的聚合,聚合就是获得的方式。 3.8.x 快速聚合的文档可在此处获得:http://docs.hazelcast.org/docs/3.8.3/manual/html-single/index.html#fast-aggregations
经过一些测试后,聚合器的整理器部分似乎正在客户端上完成。