如果你附加 2 pandas 数据帧并分配给一个变量,它会在内存中占用 space 吗?
If you append 2 pandas dataframes and assign to a variable, will it take space in memory?
如果附加 2 pandas 个数据帧并分配给一个变量,它会占用 space 内存吗?
例如,如果我 df_1
的权重为 500MB,而 df2
的权重也为 500MB,
在 运行 下面的代码之后:
df_append = df_1.append(df_2, ignore_index = True)
我的内存使用量是 2000MB (500 + 500 + 1000),还是 1000MB?
这就是我们使用的方法,concat
、append
和 merge
?
如果 df_1
和 df2
都使用 500MB 的内存,那么 df_append = df_1.append(df_2, ignore_index = True)
将构建一个新的数据帧,它将使用或多或少的 1000 MB,总共 2000MB。
但请注意,如果数据帧可以序列化为 500MB 的文件(例如 cdv 格式),它可能会使用更多的内存...
例如,如果您分配一个使用 1MB 内存的 var 和使用 1MB 的第二个 var,如果您将两者组合并形成一个新的 var,则新的 var 占用 2MB 内存。和这里一样。大约需要 1000MB,大约是吧... 不太清楚。因为你的 df_1 可以使用 500.000245(不完全是 500)而 df_2 可以使用 500.000something...(不完全是 500)。
希望你明白。
如果附加 2 pandas 个数据帧并分配给一个变量,它会占用 space 内存吗?
例如,如果我 df_1
的权重为 500MB,而 df2
的权重也为 500MB,
在 运行 下面的代码之后:
df_append = df_1.append(df_2, ignore_index = True)
我的内存使用量是 2000MB (500 + 500 + 1000),还是 1000MB?
这就是我们使用的方法,concat
、append
和 merge
?
如果 df_1
和 df2
都使用 500MB 的内存,那么 df_append = df_1.append(df_2, ignore_index = True)
将构建一个新的数据帧,它将使用或多或少的 1000 MB,总共 2000MB。
但请注意,如果数据帧可以序列化为 500MB 的文件(例如 cdv 格式),它可能会使用更多的内存...
例如,如果您分配一个使用 1MB 内存的 var 和使用 1MB 的第二个 var,如果您将两者组合并形成一个新的 var,则新的 var 占用 2MB 内存。和这里一样。大约需要 1000MB,大约是吧... 不太清楚。因为你的 df_1 可以使用 500.000245(不完全是 500)而 df_2 可以使用 500.000something...(不完全是 500)。
希望你明白。