dask pivot_table 和 pandas pivot_table python 之间的区别
Difference between dask pivot_table and pandas pivot_table python
似乎我们可以使用两个库中的 pivot_table 实现相同的目标,但是对于大型数据集,哪个库的性能更高效?
绝对是达斯克。 pandas 的工作方式是,它将所有内容作为内存中的一个整体块进行处理,并且不可并行化,而 Dask 则将数据帧分解为可以并行处理的块。
似乎我们可以使用两个库中的 pivot_table 实现相同的目标,但是对于大型数据集,哪个库的性能更高效?
绝对是达斯克。 pandas 的工作方式是,它将所有内容作为内存中的一个整体块进行处理,并且不可并行化,而 Dask 则将数据帧分解为可以并行处理的块。