在 R 中使用 foreach 循环读取 MATLAB .mat 文件时出现问题

Question

我有超过一千个 matlab 文件要读入 R。我使用 R.matlab 包来读取它们，我想并行操作。

但是，一旦调用循环（我正在从所有 .mat 文件生成单个数据集），我就会收到错误消息：

Error in { : task 1 failed - "not possible to encounter function "readMat""

(因为我的R不是英文，所以我翻译了“”之间的错误部分)

没有 foreach 命令，一切都很好，但是时间太长了。这是代码

library(R.matlab)
library(plyr)
library(foreach)
library(doParallel)

a = list.files()
data <- readMat(a[1])

for(j in 2:length(a))  {

  data1 <- readMat(a[j])

  if (is.null(data1)==FALSE) {
      data <- rbind.fill(data,data1)
  }}
  print(j)
}

使用 foreach 命令出现上述错误。这是代码：

    library(R.matlab)
    library(plyr)
    library(foreach)
    library(doParallel)


cl<-makeCluster(8)
registerDoParallel(cl)

    a = list.files()
    data <- readMat(a[1])

    foreach(j = 2:length(a)) %dopar% {

      data1 <- readMat(a[j])

      if (is.null(data1)==FALSE) {
          data <- rbind.fill(data,data1)
      }}
      print(j)
    }

这是否意味着 foreach 和 readMat 不应该一起使用？

Answer 1

如果有人想知道的话，我忘了导出 R.matlab 到每个集群节点。只需要在 foreach 调用

中添加 .packages 参数

library(R.matlab)
library(plyr)
library(foreach)
library(doParallel)


cl<-makeCluster(8)
registerDoParallel(cl)

a    <- list.files()
data <- readMat(a[1])

foreach(j = 2:length(a), .packages = c("plyr", "doParallel",
                                       "R.matlab")) %dopar% {

  data1 <- readMat(a[j])

  if (!is.null(data1)) {
      data <- rbind.fill(data,data1)
  }

}

在 R 中使用 foreach 循环读取 MATLAB .mat 文件时出现问题

Problems reading MATLAB .mat files with a foreach loop in R

r

file-io

foreach

mat-file