从 Dask Dataframe 中获取一行而不将整个 Dataframe 加载到内存中
Get One Row From Dask Dataframe Without Loading Entire Dataframe into Memory
dask 是否可以一次将一行加载到内存中？我有一个巨大的 200GB 数据集，我希望在给定索引的情况下一次检索一行。然后我想从行中获取 numpy 数组。当我尝试打电话时：
df_row = df.loc[index]
df_row = df_row.values.compute()
Dask 尝试将整个 df 加载到内存中，而不仅仅是一小行。如果我不调用计算而只调用值，那么 df_row 仍然是一个 dask.array 对象。这似乎必须有一个明显的解决方案，因为它是如此常见且简单的用例。我做错了什么？
Dask不会加载所有行，因为它可以在不加载数据的情况下知道每个分区（称为"divisions"）中索引的起始和结束值，并且分区形成单调级数.
例如，parquet 数据类型通常在元数据中存储列 max/min 值，因此如果数据合理排序，那么 .loc[] 确实只会加载包含数据的一个分区.
但是，对于CSV这样的数据格式，如果不解析和考虑所有数据，是不可能知道给定分区是否包含请求对应的索引值的。
您可能对重新分区或明确设置数据索引感兴趣，或者，如果您独立了解它们，请在尝试 .loc 操作之前提供分区的值。
dask 是否可以一次将一行加载到内存中？我有一个巨大的 200GB 数据集，我希望在给定索引的情况下一次检索一行。然后我想从行中获取 numpy 数组。当我尝试打电话时：
df_row = df.loc[index]
df_row = df_row.values.compute()
Dask 尝试将整个 df 加载到内存中，而不仅仅是一小行。如果我不调用计算而只调用值，那么 df_row 仍然是一个 dask.array 对象。这似乎必须有一个明显的解决方案，因为它是如此常见且简单的用例。我做错了什么？
Dask不会加载所有行，因为它可以在不加载数据的情况下知道每个分区（称为"divisions"）中索引的起始和结束值，并且分区形成单调级数.
例如，parquet 数据类型通常在元数据中存储列 max/min 值，因此如果数据合理排序，那么 .loc[] 确实只会加载包含数据的一个分区.
但是，对于CSV这样的数据格式，如果不解析和考虑所有数据，是不可能知道给定分区是否包含请求对应的索引值的。
您可能对重新分区或明确设置数据索引感兴趣，或者，如果您独立了解它们，请在尝试 .loc 操作之前提供分区的值。