H2O.ai import_file 不像惰性求值，这是在做什么？

Question

H2O.ai 数据解析到底在做什么？

Import h2o
h2o.init()
df = h2o.import_file(path=myfilepath)

当我运行上面的代码时，我得到了下面的输出，这需要一段时间...

Parse progress: [###################################] 100%

当我在 2GB 的数据上 运行 时，我的内存增加了大约 2GB。我认为 H2O.ai 应该使用惰性求值？似乎很多信息都存储在内存中（甚至可能是整个数据集），显然这不是一个懒惰的评估，因为它需要一段时间 运行。

H2O.ai 文档也不是很有帮助。

http://docs.h2o.ai/h2o/latest-stable/h2o-py/docs/h2o.html#h2o.import_file

http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-munging/importing-data.html

有谁知道这里到底发生了什么？

Answer 1

不是偷懒

正在读取数据并将数据存储在列压缩的内存分布式键值存储中。

这里有一张描述整个过程的好图：

• http://docs.h2o.ai/h2o/latest-stable/h2o-docs/architecture.html#how-r-and-python-interacts-with-h2o