从不同的文件夹导入文件,添加包含从每个文件名中提取的值的列?
Importing files from different folders, adding columns with values extracted from each file name?
我正在使用 R 进行一些数据分析。我将数据保存在与其来源年份相关的单独文件夹中。在每年的文件夹中有几个类别文件夹,每个类别文件夹都有需要导入的 .csv 和 .dat 文件。文件名在 "category_outlet_timeinterval.csv" 或“.dat”中的结构相似。每年包含相同的类别,每个类别包含相同类型的文件,只是时间间隔不同。
我需要从几个不同的文件夹中导入这些文件,并为 Year、Category 和 Outlet 添加一列。需要从每个文件名中读取要进入这些列的值。添加列后,文件将合并到一个数据框中。
我已经使用 fread 完成了合并部分:
# (1) Create File List
csv_files <- list.files (path = "R/win-library/Practice",
pattern = "*.csv",
recursive = T,
full.names = T)
# (2) Import All csv with 'fread()'
DATA_ALL <- rbindlist (lapply (csv_files, fread))
view(DATA_ALL)
问题:
-从文件名中检索信息作为子字符串并相应地创建列的最有效方法是什么?
-我是否必须将每个文件都设为数据框,还是可以从文件列表中全部完成?这个问题的主要原因是文件太大。
我是 R 的初学者,正在努力掌握它的窍门。抱歉,如果我不清楚任何事情。提前致谢!
您可以在数据框中创建包含路径和文件名信息的列:
files <- list.files(path = path,
full.names = TRUE,
all.files = FALSE,
recursive = TRUE)
files <- files[!file.info(files)$isdir]
data <- lapply(files,
function(x) {
data <- read_xls(x, sheet = 1)
data$File_name <- basename(x)
data$Path <- dirname(x)
data
})
然后您可以从这些列中计算出您想要的信息(例如年份)。我通常会使用 stringr
函数,例如 str_detect
或 str_extract
从文件名和路径中提取相关信息。
我正在使用 R 进行一些数据分析。我将数据保存在与其来源年份相关的单独文件夹中。在每年的文件夹中有几个类别文件夹,每个类别文件夹都有需要导入的 .csv 和 .dat 文件。文件名在 "category_outlet_timeinterval.csv" 或“.dat”中的结构相似。每年包含相同的类别,每个类别包含相同类型的文件,只是时间间隔不同。
我需要从几个不同的文件夹中导入这些文件,并为 Year、Category 和 Outlet 添加一列。需要从每个文件名中读取要进入这些列的值。添加列后,文件将合并到一个数据框中。
我已经使用 fread 完成了合并部分:
# (1) Create File List
csv_files <- list.files (path = "R/win-library/Practice",
pattern = "*.csv",
recursive = T,
full.names = T)
# (2) Import All csv with 'fread()'
DATA_ALL <- rbindlist (lapply (csv_files, fread))
view(DATA_ALL)
问题:
-从文件名中检索信息作为子字符串并相应地创建列的最有效方法是什么?
-我是否必须将每个文件都设为数据框,还是可以从文件列表中全部完成?这个问题的主要原因是文件太大。
我是 R 的初学者,正在努力掌握它的窍门。抱歉,如果我不清楚任何事情。提前致谢!
您可以在数据框中创建包含路径和文件名信息的列:
files <- list.files(path = path,
full.names = TRUE,
all.files = FALSE,
recursive = TRUE)
files <- files[!file.info(files)$isdir]
data <- lapply(files,
function(x) {
data <- read_xls(x, sheet = 1)
data$File_name <- basename(x)
data$Path <- dirname(x)
data
})
然后您可以从这些列中计算出您想要的信息(例如年份)。我通常会使用 stringr
函数,例如 str_detect
或 str_extract
从文件名和路径中提取相关信息。