如何获取 Julia DataFrame 的内存大小？

Question

我想优化 Julia DataFrame（中的列）。为此，我想获得优化前后 DataFrame 的大小。

这是一个 DataFrame 示例：

rows, columns = 10_000, 50
df = rand([x for x in "ABCDE"], rows, columns) |> DataFrame

此 df 对象的大小...

sizeof(df)

尺寸为 24。

但是，当我对列的大小求和时，大小不同...

sum([sizeof(df[x]) for x in names(df)])

列大小的总和为 2000000。

这里是优化...

for i = names(df)
    df[i] = CategoricalArray(df[i], ordered=false)
end

结果是：

sizeof(df)

尺寸为 24。

sum([sizeof(df[x]) for x in names(df)])

列大小的总和为 800。

有什么关于如何获得 DataFrame 的准确大小的建议吗？

Answer 1

以下是您的操作方法：

julia> df = DataFrame(rand([x for x in "ABCDE"], rows, columns), :auto);

julia> Base.summarysize(df)
2007456

julia> Base.summarysize(mapcols(PooledArray, df)) # this will change in the next release of PooledArrays.jl as the default size of refarray element will be UInt32
525656

julia> Base.summarysize(mapcols(categorical, df))
2037256

julia> Base.summarysize(mapcols(x -> categorical(x, compress=true), df))
534856

请注意，在这种情况下它并不多，因为您所有的列都具有 Char 元素类型。如果列包含长字符串，您将获得更多好处。

如何获取 Julia DataFrame 的内存大小？

How to get the memory size of an Julia DataFrame?

memory

size

dataframe

julia