在 R 中重命名和重新排序时间 Excel 文件

Question

我有一组 67 个 Excel 文件，我试图将它们合并到 R 中的面板数据集中。文件名的格式为：qjMMMYYe.xls，其中 MMM是月份的三个字母缩写，运行从 jan 到 nov，以两个月为增量，YY 是年份，运行来自 09 到 20。第一个是 qjjan09e.xls 最后一个是 qjjan20e.xls.

我是 R 的新手，我想：

a) 将每个文件读入 R 并以可以按时间顺序排序的方式命名，例如qjjan09e.xls 分配给 data0901，qjjan20e.xls 分配给 data2001

b) 在每个数据框中创建三个新列：year 和 month 存储各自的日期组件，wave 存储文件的时间顺序（例如第一个文件qjjan09e.xls 被分配 1 并且最后一个文件 qjjan20e.xls 被分配 67)

c) 将数据帧堆叠在一起以创建面板数据集

对于 a)，我通过 list.files(pattern="*.xls") 获取文件名列表并通过 read_excel 循环读取它们，但我不知道如何使用正则表达式重命名数据帧。如果我能找到一种方法从文件名中提取三个字母的缩写，我认为 month.abb 函数会对我有所帮助。我假设这部分将帮助我创建 b) 中所需的年和月列，但我也不确定如何从重命名的文件中获取波数。我假设 c) 涉及 rbind().

Answer 1

我的解决方案涉及 tidyverse（对于一些可读性 data-wrangling）和 data.table，因为它可以快速处理大量数据

这可能不是最优雅的方式，但它会完成工作;-)

我在下面的代码中添加了注释和 in-bewteen-results

library( tidyverse )
library( readxl )
library( data.table )

#get files to read
files.v <- list.files( path = "./temp", pattern = ".*\.xls$", full.names = TRUE )
# [1] "./temp/qjjan09e.xls" "./temp/qjjan20e.xls"

#build df for lookup operation later on
DF <- data.frame( filename = files.v ) %>%
  dplyr::mutate( 
    #use rownumbers to get file identifier
    id = row_number(),
    #extract year and month string from filename, and parse to date
    date_id = paste0( gsub( "^.*([a-z]{3})([0-9]+.*)", "\1", filename ), 
                      gsub( "[^0-9]", "", filename ) ) %>%
      #parse extracted strings to 'real' date using the corerect locale
      readr::parse_date( format = "%b%y", locale = locale( date_names = "en" ) ) %>%
      #format the date to the desired format
      format( "%y%m" )
    )
#              filename id date_id
# 1 ./temp/qjjan09e.xls  1    0901
# 2 ./temp/qjjan20e.xls  2    2001

#read excel-files to list 
L <- lapply( files.v, readxl::read_excel )
#name list
names(L) <- files.v

# $`./temp/qjjan09e.xls`
# # A tibble: 5 x 2
#    col1  col2
#   <dbl> <dbl>
# 1     1     8
# 2     2     9
# 3     3    10
# 4     4    11
# 5     5    12
# 
# $`./temp/qjjan20e.xls`
# # A tibble: 5 x 2
#    col1  col2
#   <dbl> <dbl>
# 1    11    18
# 2    12    19
# 3    13    20
# 4    14    21
# 5    15    22

#now bind the List together, using it's names as an ID
DT <- data.table::rbindlist( L, use.names = TRUE, fill = TRUE, idcol = "filename" )
#               filename col1 col2
# 1: ./temp/qjjan09e.xls    1    8
# 2: ./temp/qjjan09e.xls    2    9
# 3: ./temp/qjjan09e.xls    3   10
# 4: ./temp/qjjan09e.xls    4   11
# 5: ./temp/qjjan09e.xls    5   12
# 6: ./temp/qjjan20e.xls   11   18
# 7: ./temp/qjjan20e.xls   12   19
# 8: ./temp/qjjan20e.xls   13   20
# 9: ./temp/qjjan20e.xls   14   21
#10: ./temp/qjjan20e.xls   15   22

#now join the relevant info into the coluns needed, using a (fast!!) update join
#  setDT is used on DF to make it a data.table
DT[ data.table::setDT(DF), 
    `:=`( id_col = i.id, date_col = i.date_id ), 
    on = .( filename )]

#               filename col1 col2 id_col date_col
# 1: ./temp/qjjan09e.xls    1    8      1     0901
# 2: ./temp/qjjan09e.xls    2    9      1     0901
# 3: ./temp/qjjan09e.xls    3   10      1     0901
# 4: ./temp/qjjan09e.xls    4   11      1     0901
# 5: ./temp/qjjan09e.xls    5   12      1     0901
# 6: ./temp/qjjan20e.xls   11   18      2     2001
# 7: ./temp/qjjan20e.xls   12   19      2     2001
# 8: ./temp/qjjan20e.xls   13   20      2     2001
# 9: ./temp/qjjan20e.xls   14   21      2     2001
#10: ./temp/qjjan20e.xls   15   22      2     2001

在 R 中重命名和重新排序时间 Excel 文件

Renaming and reordering chronological Excel files in R

regex

r

file-rename