在 Dask 中使用尚未实现的 Pandas 函数
Using Not Yet Implemented Pandas Functions in Dask
我相信我在 Dask 教程之一中看到了关于如何使用 Pandas 函数的建议,这些函数在使用 Dask 数据帧时尚未在 Dask 框架中实现,但我似乎放错了地方看见了。例如,我想使用 Pandas 函数 'ewm'。
作为一种变通方法,我将我的 Dask 数据帧转换为 Pandas 数据帧,运行 ewm 覆盖 Pandas 数据帧,然后将它们转换回 Dask 以供以后使用更多内存密集型操作。不是最有效的。
对此有更好的策略吗?
有多种 lower-level 通用函数可用于构建 Dask Dataframe 函数,例如 map_partitions
、自定义聚合、滚动等。
这里有更多信息:https://docs.dask.org/en/latest/best-practices.html#learn-techniques-for-customization
我相信我在 Dask 教程之一中看到了关于如何使用 Pandas 函数的建议,这些函数在使用 Dask 数据帧时尚未在 Dask 框架中实现,但我似乎放错了地方看见了。例如,我想使用 Pandas 函数 'ewm'。
作为一种变通方法,我将我的 Dask 数据帧转换为 Pandas 数据帧,运行 ewm 覆盖 Pandas 数据帧,然后将它们转换回 Dask 以供以后使用更多内存密集型操作。不是最有效的。
对此有更好的策略吗?
有多种 lower-level 通用函数可用于构建 Dask Dataframe 函数,例如 map_partitions
、自定义聚合、滚动等。
这里有更多信息:https://docs.dask.org/en/latest/best-practices.html#learn-techniques-for-customization