打开 3.7GB 镶木地板文件立即被杀死
opening 3.7GB parquet file immediately killed
我有 Python 3.7.3，我正在使用 pyarrow 2.0.0 并尝试打开一个 3.7GB 的镶木地板文件。 python 脚本立即以“Killed”终止，这是我唯一看到的。由于我没什么可继续的，所以我不确定为什么它被“杀死”了。试图打开它的计算机有 16GB 的 RAM，所以看起来应该有足够的 RAM 来处理它？有什么方法可以让我获得更多关于它为何被“杀死”的信息？
消息“Killed”来自 Linux OOM killer。您可以通过 inspecting logs.
确认此行为
parquet 文件经过压缩，因此 3.7GB 的 parquet 文件一旦加载到内存中可能包含超过 16GB 的数据。
您需要逐步阅读该文件。如果文件有行组，您可以一次读取一个行组。如果文件没有行组（或者您不想那样阅读），您可以选择更少的列来加载。
我有 Python 3.7.3，我正在使用 pyarrow 2.0.0 并尝试打开一个 3.7GB 的镶木地板文件。 python 脚本立即以“Killed”终止，这是我唯一看到的。由于我没什么可继续的，所以我不确定为什么它被“杀死”了。试图打开它的计算机有 16GB 的 RAM，所以看起来应该有足够的 RAM 来处理它？有什么方法可以让我获得更多关于它为何被“杀死”的信息？
消息“Killed”来自 Linux OOM killer。您可以通过 inspecting logs.
确认此行为parquet 文件经过压缩，因此 3.7GB 的 parquet 文件一旦加载到内存中可能包含超过 16GB 的数据。
您需要逐步阅读该文件。如果文件有行组，您可以一次读取一个行组。如果文件没有行组（或者您不想那样阅读），您可以选择更少的列来加载。