Vaex 数据框和表达式：每第 n 行过滤一次 (Python)

Question

我有一些非常大的 hdf 文件（10e9 行，大约 100Gb），其中包含 [X,Y,Z,Sensor_0,...,Sensor_n] 值。对于处理，我使用的是 vaex，它给我带来了不错且快速的结果。但是，我正在努力解决以下问题：

我还没有找到一种方法来只用 df 的每 n 行创建一个新的表达式对象。在 pandas 中，我会这样做： df_new_nth_X = df.X[::50] 只获取新 df 的每 50 个值，这显然对我的 df 非常消耗内存。

所以我想“过滤”vaex df，或者在制作数组之前制作一个仅包含每个第 n 个值的表达式对象。

这些问题似乎是很基础的问题，但我在阅读文档后还没有找到解决方案。我什至不确定这对于内存映射对象是否可行...

此致巴斯蒂安

Answer 1

你可以做一个很好的技巧来实现你想要的。考虑以下代码：

import vaex

# Example df that comes with vaex
df = vaex.example()

# Add a virtual index (takes no memory)
df['index'] = vaex.vrange(len(df))

# Make a filter / selection based on that index
# So getting one every 50 rows for example you can do
df[df.index % 50 == 0]['FeH'].values

Vaex 数据框和表达式：每第 n 行过滤一次 (Python)

Vaex Dataframe and Expression: Filter every nth row (Python)

python

dataframe

vaex