terra package returns 尝试运行并行操作时出错

Question

我正在使用 raster 包，我尝试切换到 terra 但由于某些我不明白的原因，terra 无法重现与 raster 与 snowfall 和 future.apply 等包并行工作时。这是一个可重现的例子。

library(terra)
r <- rast()
r[] <- 1:ncell(r)
m <- rast()
m[] <- c(rep(1,ncell(m)/5),rep(2,ncell(m)/5),rep(3,ncell(m)/5),rep(4,ncell(m)/5),rep(5,ncell(m)/5))
ms <- separate(m,other=NA)
plot(ms)
mymask <- function(ind){
  tipo <- tipo_tav[ind]
  mask <- ms[[ind]]
  
  masked <-
    terra::mask(
      r,
      mask
    )
  
  richard <- function(x){
    k <-0.2
    v <-0.3
    a <-200
    y0 <-2
    y <- k/v*x*(1-((x/a)^v))+y0
    return(y)
  }
  pred <- richard(masked)
  pred <- clamp(pred,lower=0)
  return(pred)
}
#the sequential usage works fine, faster than the `raster` counterpart
system.time(x <- mymask(1))#0.03

#when I try to run my function in parallel I receive an error
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))

Error in .External(list(name = "CppMethod__invoke_notvoid", address = <pointer: (nil)>, : NULL value as symbol address.

如果我将 rast 更改为 raster 并将 terra::mask 更改为 raster::mask，则完全相同的代码运行良好。见下文：

library(raster)
r <- raster(r)
ms <- stack(ms)
mymask <- function(ind){
  tipo <- tipo_tav[ind]
  mask <- ms[[ind]]
  
  masked <-
    raster::mask(
      r,
      mask     
    )
  
  richard <- function(x){
    k <-0.2
    v <-0.3
    a <-200
    y0 <-2
    y <- k/v*x*(1-((x/a)^v))+y0
    return(y)
  }
  pred <- richard(masked)
  pred <- clamp(pred,lower=0)
  return(pred)
}
#this works fine
system.time(x <- mymask(1))#0.06
#this works too
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))#15.48

如果我使用 snowfall 而不是 future

，则行为相同

library(snowfall)
sfInit(parallel = TRUE, cpus =5)
sfLibrary(terra)
sfExportAll()
system.time(pred_list <- sfLapply(1:5, fun = mymask))
sfStop()

这个return和future_lapply一样的错误为什么会这样？我从未见过这样的错误。我希望利用 terra 的更高速度，但我被卡住了。

Answer 1

A SpatRaster无法序列化，不能将其发送到并行计算节点。查看 here 以获得更多讨论。

相反，您可以 (a) 发送和接收文件名； (b) 并行化您提供给 app 或 lapp 的自定义函数； (c) 使用 cores=n 参数（如果可用，例如 app 和 predict）； (d) 使用像 wrap 这样的机制； (e) 发送一个文件名和一个向量来制作一个 SpatExtent 来处理并从输出切片创建一个虚拟栅格（参见 ?vrt）。

例如，您可以使用这样的函数（选项“a”）

prich <- function(filein, fileout) {
    r <- rast(filein)
    richard <- function(x) {
        k <-0.2
        v <-0.3
        a <-200
        y0 <-2
        y <- k/v*x*(1-((x/a)^v))+y0
        y[y<0] <- 0
        return(y)
    }
    x <- app(masked, richard, filename=fileout, overwrite=TRUE)
    return(TRUE)
}

我使用 app 因为它对于大型栅格更有效 --- 因为它可以避免为 SpatRaster 的 10 个算术运算中的每一个都编写临时文件。鉴于您想并行化这个相对简单的函数，我假设文件非常大。

或选项“c”：

richard <- function(x) {
    k <-0.2
    v <-0.3
    a <-200
    y0 <-2
    y <- k/v*x*(1-((x/a)^v))+y0
    y[y<0] <- 0
    return(y)
 }
 x <- app(masked, richard, cores=12)

在这两种情况下我都包括了掩码。您可以将它包含在选项“a”中，但 mask 是磁盘 I/O 密集型，而不是计算密集型，因此一步完成而不是并行完成可能更有效。

使用 wrap 你可以做这样的事情

f <- function(w) {
    x <- rast(w)
    y <- richard(x)
    wrap(y)
}

r <- rast(nrow=10, ncol=10, vals=1:100)
x <- f(wrap(r))
x <- rast(x)

其中 f 将并行运行。这仅适用于小栅格，但您可以并行处理图块，并且可以使用 terra::makeTiles.

创建图块

更多内部并行化选项即将推出，但请不要屏住呼吸。

terra package returns 尝试运行并行操作时出错

terra package returns error when try to run parallel operations

parallel-processing

r

r-future

terra

terra package returns 尝试 运行 并行操作时出错

terra package returns error when try to run parallel operations

parallel-processing

r

r-future

terra

terra package returns 尝试运行并行操作时出错