如何限制从 sparklyr 中的镶木地板文件读取的行数
How limit number of lines read from a parquet file in sparklyr
我有一个巨大的 parquet 文件,读取时既不适合内存也不适合磁盘,有一种方法可以使用 spark_read_parquet
只读取前 n 行吗?
这可能是一种 hacky 方式,但是
spark_read_parquet(..., memory=FALSE) %>% head(n)
似乎适合我。
我有一个巨大的 parquet 文件,读取时既不适合内存也不适合磁盘,有一种方法可以使用 spark_read_parquet
只读取前 n 行吗?
这可能是一种 hacky 方式,但是
spark_read_parquet(..., memory=FALSE) %>% head(n)
似乎适合我。