快速组合和转置许多固定格式的数据集文件

Question

我有：~100 个 txt 文件，每个文件有 9 列和 >100,000 行我想要的是：一个组合文件，只有 2 列，但所有行。那么应该将其转置为 >100,000 列和 2 行的输出。

我创建了以下功能来系统地遍历文件夹中的文件，提取我想要的数据，然后在每个文件之后，与原始模板连接在一起。

问题：这在我的小测试文件上工作正常，但是当我尝试在大文件上这样做时，我运行遇到了内存分配问题。我的 8GB RAM 还不够，我认为部分原因在于我编写代码的方式。

我的问题：有没有办法循环遍历文件然后在最后一次加入所有文件以节省处理时间？

另外，如果放这种东西的地方不对，有什么论坛可以更好地获取 WIP 代码？

##Script to pull in genotype txt files, transpose them, delete commented rows & 
## & header rows, and then put files together.

library(plyr)

## Define function
Process_Combine_Genotype_Files <- function(
        inputdirectory = "Rdocs/test", outputdirectory = "Rdocs/test", 
        template = "Rdocs/test/template.txt",
        filetype = ".txt", vars = ""
        ){

## List the files in the directory & put together their path
        filenames <- list.files(path = inputdirectory, pattern = "*.txt")
        path <- paste(inputdirectory,filenames, sep="/")


        combined_data <- read.table(template,header=TRUE, sep="\t")

## for-loop: for every file in directory, do the following
        for (file in path){

## Read genotype txt file as a data.frame
                currentfilename  <- deparse(substitute(file))
                currentfilename  <- strsplit(file, "/")
                currentfilename <- lapply(currentfilename,tail,1)

                data  <- read.table(file, header=TRUE, sep="\t", fill=TRUE)

                #subset just the first two columns (Probe ID & Call Codes)
                #will need to modify this for Genotype calls....
                data.calls  <- data[,1:2]

                #Change column names & row names
                colnames(data.calls)  <- c("Probe.ID", currentfilename)
                row.names(data.calls) <- data[,1]


## Join file to previous data.frame
                combined_data <- join(combined_data,data.calls,type="full")


## End for loop
        }
## Merge all files
        combined_transcribed_data  <- t(combined_data)
print(combined_transcribed_data[-1,-1])
        outputfile  <- paste(outputdirectory,"Genotypes_combined.txt", sep="/")        
        write.table(combined_transcribed_data[-1,-1],outputfile, sep="\t")

## End function
}

提前致谢。

Answer 1

尝试：

filenames <- list.files(path = inputdirectory, pattern = "*.txt")
require(data.table)
data_list <- lapply(filenames,fread, select = c(columns you want to keep))

现在您有了所有数据的列表。假设所有的 txt 文件都具有相同的列结构，您可以通过以下方式组合它们：

data <- rbindlist(data_list)

转置数据：

t(data)

（感谢@Jakob H 在 fread 中 select）

Answer 2

如果 speed/working 内存是问题，那么我建议使用 Unix 进行合并。一般来说，Unix 比 R 快。此外，Unix 不需要将所有信息加载到 RAM 中，而是以块的形式读取信息。因此，Unix 永远不会受内存限制。如果你不会Unix，但打算以后经常操作大文件，那就学Unix吧。它简单易学，功能非常强大。我将用 csv 文件做一个例子。

在 R 中生成 CSV 文件

for (i in 1:10){
  write.csv(matrix(rpois(1e5*10,1),1e5,10), paste0('test',i,'.csv'))
}

In Shell（即在 Mac 上）/Terminal（即在 Linux Box 上）/Cygwin（即在 Windows 上）

cut -f 2,3 -d , test1.csv > final.csv #obtain column 2 and 3 form test1.csv
cut -f 2,3 -d , test[2,9].csv test10.csv | sed 1d >> final.csv #removing header in test2.csv onward

请注意，如果您安装了 Rtools，那么您可以使用 system 函数从 R 运行所有这些 Unix 命令。

将 final.csv 转置为 R 并转置。

更新：

我对上面的代码进行了计时。 .4 秒 到运行。因此，要对 100 个文件而不是仅仅 10 个文件执行此操作，可能需要 4 秒 。我没有对 R 代码进行计时，但是，当只有 10 个文件时，Unix 和 R 程序可能具有相似的性能，但是，如果文件超过 100 个，您的计算机可能会变得内存受限并且 R 可能会崩溃.

快速组合和转置许多固定格式的数据集文件

Combine and transpose many fixed-format dataset files quickly

r

fread

fixed-format

read.csv