在 R 中使用 URL 从文件夹和子文件夹下载所有 CSV 文件

Question

我试图从这个站点下载 CSV 文件：http://tiservice.hii.or.th/opendata/data_catalog/daily_rain/。这些是每天的降雨量数据，按年份（在它自己的文件夹中）和每年的子文件夹中的月份存储。

example of the folder

在每个月的文件夹中，每个气象站的单独文件都可用。 我希望能够从父目录中的所有子文件夹中的特定站点（例如 ABRT.csv）提取数据。

我可以像这样对本地文件夹中的文件执行此操作。

dir("climate_data/temperature/", recursive=TRUE, full.names=TRUE, pattern="\ABRT.csv$")

是否可以直接从 R 的 URL（或终端，如果那样更容易）做类似的事情？

Answer 1

这个怎么样：

eg <- expand.grid(2012:2021, 
                  c("01", "02", "03", "04","05","06", "07", "08", "09", "10","11","12"))
eg$url <- paste("http://tiservice.hii.or.th/opendata/data_catalog/daily_rain/",
                eg[,1], 
                "/", 
                paste(eg[,1], 
                      eg[,2], 
                      sep=""), 
                "/ABRT.csv", 
                sep="")
eg$dest <- paste(eg[,1], eg[,2], "ABRT.csv", sep="_")
for(i in 1:nrow(eg)){
  curl::curl_download(eg$url[1], eg$dest[1])
}

在 R 中使用 URL 从文件夹和子文件夹下载所有 CSV 文件

Download all CSV files from folders and subfolders with URL in R

r

csv

web-scraping

rcurl