如何有效地将一系列 NumericVectors 组合成一个大的 NumericVector？

Question

我写了下面的Rcpp代码编译了，但是速度没有想象中的快

// [[Rcpp::export]]
NumericVector combine_list_to_vec (const Rcpp::List& list)
{
  int list_size = list.size();
  int large_vec_size = 0;
  IntegerVector start_index(list_size);
  IntegerVector end_index(list_size);
  for (int ii = 0; ii < list_size; ii++)
  {
    NumericVector vec = list[ii];
    start_index[ii] = large_vec_size;
    large_vec_size += vec.size();
    end_index[ii] = large_vec_size - 1;
  }
  NumericVector large_vec(large_vec_size);   // Creating object after getting its size
  for (int ii = 0; ii < list_size; ii++)
  {
    int current_start_index = start_index[ii];
    NumericVector vec = list[ii];
    for (int jj = 0; jj < vec.size(); jj++)
    {
      large_vec[jj + current_start_index] = vec[jj];
    }
  }
  return large_vec;
}

输入变量'list'包含一堆NumericVector，我想将它们组合成一个大的，具有'...tail - head -tail ...'结构。 start_index 和 end_index 变量用于方便复制。

微基准测试为特定示例提供了以下信息：

x=list();
x[[1]]=runif(1E6);  x[[2]]=runif(1E6);
x[[3]]=runif(1E6);  x[[4]]=runif(1E6);
x[[5]]=runif(1E6);  x[[6]]=runif(1E6);
x[[7]]=runif(1E6);  x[[8]]=runif(1E6);
x[[9]]=runif(1E6);  x[[10]]=runif(1E6);
microbenchmark(combine_list_to_vec(x) -> y)

# Unit: milliseconds
                        expr       min        lq       mean    median        uq       max neval
# y <- combine_list_to_vec(x) 84.166964 84.587516 89.9520601 84.728212 84.871673 349.33234   100

我尝试的另一种方法是调用外部 R 函数 do.call(c,x)：

// [[Rcpp::export]]
List combine_list_to_vec (const Rcpp::List& list)
{
  int list_size = list.size();
  int large_vec_size = 0;
  IntegerVector start_index(list_size);
  IntegerVector end_index(list_size);
  for (int ii = 0; ii < list_size; ii++)
  {
    NumericVector vec = list[ii];
    start_index[ii] = large_vec_size;
    large_vec_size += vec.size();
    end_index[ii] = large_vec_size - 1;
  }
  NumericVector large_vec = internal::convert_using_rfunction(list, "sub_do_call");
  List rtn = List::create(large_vec, start_index, end_index);
  return rtn;
}

// The following codes exist as R codes instead of Rcpp
sub_do_call <- function (x)
{
  return (do.call(c, x));
}

速度比之前的代码快将近4倍。有什么方法可以通过在 Rcpp and/or RcppArmadillo 中使用指针或其他工具来加速组合操作，或者只是在 Rcpp 中编写代码 do.call(c,x) 而不是在外部调用它？谢谢。

Answer 1

如果我理解正确，你基本上是在问，"how can I write base::unlist in Rcpp?" 而且，由于 base::unlist 是一个 .Internal 函数（它有一个 C 实现），你不太可能Rcpp.

可以做得更好

但是，为了好玩，还是让我们试试吧。这是我将使用的与您的类似的实现，但应该更便宜，因为我们使用 std::copy 而不是在每次迭代时重新索引：

#include <Rcpp.h>
using namespace Rcpp;

// [[Rcpp::export]]
NumericVector combine(const List& list)
{
   std::size_t n = list.size();

   // Figure out the length of the output vector
   std::size_t total_length = 0;
   for (std::size_t i = 0; i < n; ++i)
      total_length += Rf_length(list[i]);

   // Allocate the vector
   NumericVector output = no_init(total_length);

   // Loop and fill
   std::size_t index = 0;
   for (std::size_t i = 0; i < n; ++i)
   {
      NumericVector el = list[i];
      std::copy(el.begin(), el.end(), output.begin() + index);

      // Update the index
      index += el.size();
   }

   return output;

}

/*** R
library(microbenchmark)
x <- replicate(10, runif(1E6), simplify = FALSE)
identical(unlist(x), combine(x))
microbenchmark(
   unlist(x),
   combine(x)
)
*/

运行这段代码给我：

> Rcpp::sourceCpp('C:/Users/Kevin/scratch/combine.cpp')

> library(microbenchmark)

> x <- replicate(10, runif(1E6), simplify = FALSE)

> identical(unlist(x), combine(x))
[1] TRUE

> microbenchmark(
+    unlist(x),
+    combine(x)
+ )
Unit: milliseconds
       expr      min       lq     mean   median       uq      max neval
  unlist(x) 21.89620 22.43381 29.20832 23.14454 35.32135 68.09562   100
 combine(x) 20.96225 21.55827 28.13269 22.08985 24.13403 51.68660   100

所以，实际上是一样的。我们获得了一点点时间只是因为我们没有进行任何类型检查（这意味着如果我们没有一个只包含数字向量的列表，这段代码就会崩溃）但至少应该说明我们确实可以在这里做得更好。

（我想唯一的例外是 巨大的 向量，并行处理在这里可能会有帮助）

如何有效地将一系列 NumericVectors 组合成一个大的 NumericVector？

How to effectively combine a list of NumericVectors into one large NumericVector?

c++

r

rcpp