R: data.table fread 包含多个文件的 zip
R: data.table fread on zip containing multiple files
在 zip 上使用 fread
的 OS 不可知解决方案是什么?我好像找不到。
搭建舞台
让我们创建两个数据帧,将它们写入磁盘,然后将它们放入一个 zip 存档中(我从: 偷了这个)
library(zip)
df1 <- head(mtcars)
df2 <- head(iris)
write.csv(df1, 'df1.csv')
write.csv(df2, 'df2.csv')
zip(zipfile='df.zip', files=list.files(path = getwd(), pattern = ".csv$"))
现在我想将这个 zip 读入 R
假设我想从 zip 中阅读 df1.csv。
fread('df.zip/df1.csv')
Error in fread("df.zip/df1.csv") : File 'df.zip/df1.csv' does not
exist or is non-readable
我从 fread() of file from archive
试过这个
fread('unzip -p df.zip/df1.csv')
Null data.table (0 rows and 0 cols)
Warning message:
In fread("unzip -p df.zip/df1.csv") :
File '/var/folders/w5/kqy78qb17v176195dtyyc4pj40000gn/T//RtmpIlNSk8/filee1693cc7f89'
has size 0. Returning a NULL data.table.
我不明白它试图导入什么,但显然不是我感兴趣的数据框。
你能帮忙吗?
编辑 1
先解压缩不是一个真正的选择。实际上,我正在处理一批高度可压缩的文件。通常 ~ 3000 个 xls 文件,每个 1M 行。 100 Gb 解压缩/8 Gb 压缩。不用说,直接从 zip 中阅读会舒服得多!
安装 unzip
后,this solution 可以在我的电脑上运行 :
fread(cmd = 'unzip -p df.zip df1.csv')
V1 mpg cyl disp hp drat wt qsec vs am gear carb
1: Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4
2: Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4
3: Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1
4: Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1
5: Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2
6: Valiant 18.1 6 225 105 2.76 3.460 20.22 1 0 3 1
在 zip 上使用 fread
的 OS 不可知解决方案是什么?我好像找不到。
搭建舞台
让我们创建两个数据帧,将它们写入磁盘,然后将它们放入一个 zip 存档中(我从:
library(zip)
df1 <- head(mtcars)
df2 <- head(iris)
write.csv(df1, 'df1.csv')
write.csv(df2, 'df2.csv')
zip(zipfile='df.zip', files=list.files(path = getwd(), pattern = ".csv$"))
现在我想将这个 zip 读入 R
假设我想从 zip 中阅读 df1.csv。
fread('df.zip/df1.csv')
Error in fread("df.zip/df1.csv") : File 'df.zip/df1.csv' does not exist or is non-readable
我从 fread() of file from archive
试过这个fread('unzip -p df.zip/df1.csv')
Null data.table (0 rows and 0 cols)
Warning message:
In fread("unzip -p df.zip/df1.csv") : File '/var/folders/w5/kqy78qb17v176195dtyyc4pj40000gn/T//RtmpIlNSk8/filee1693cc7f89' has size 0. Returning a NULL data.table.
我不明白它试图导入什么,但显然不是我感兴趣的数据框。
你能帮忙吗?
编辑 1
先解压缩不是一个真正的选择。实际上,我正在处理一批高度可压缩的文件。通常 ~ 3000 个 xls 文件,每个 1M 行。 100 Gb 解压缩/8 Gb 压缩。不用说,直接从 zip 中阅读会舒服得多!
安装 unzip
后,this solution 可以在我的电脑上运行 :
fread(cmd = 'unzip -p df.zip df1.csv')
V1 mpg cyl disp hp drat wt qsec vs am gear carb
1: Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4
2: Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4
3: Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1
4: Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1
5: Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2
6: Valiant 18.1 6 225 105 2.76 3.460 20.22 1 0 3 1