R矩阵。将稀疏矩阵的特定元素设置为零。

Question

我有相当大的稀疏矩阵（dgCMatrix 或 dgTMatrix，但这在这里不是很重要）。我想将一些元素设置为零。
例如，我有 3e4 * 3e4 矩阵，它是上三角形并且非常密集：~23% 的元素不为零。（实际上我有更大的矩阵 ~ 1e5 * 1e5，但它们更稀疏）所以在三元组 dgTMatrix 形式中它需要大约 3.1gb 的 RAM。现在我想将所有小于某个阈值（比如 1）的元素设置为零。

非常幼稚的方法（也讨论过）如下：
```
threshold <- 1
m[m < threshold] <- 0
```
但是这个解决方案远非完美 - 130 秒 运行时间（在有足够 ram 的机器上，所以没有交换）更重要的是 需要 ~ 25-30gb 额外的 RAM。

我发现的第二个解决方案（并且很高兴）更有效 - 从头开始构建新矩阵：

threshold <- 1
ind <- which(m@x > threshold)
m <- sparseMatrix(i = m@i[ind], j = m@j[ind], x = m@x[ind], 
             dims = m@Dim, dimnames = m@Dimnames, 
             index1 = FALSE, 
             giveCsparse = FALSE, 
             check = FALSE)

只需要 6 秒，需要额外的 5GB RAM。

问题是 - 我们可以做得更好吗？ 特别有趣的是，我们是否可以使用更少的 RAM 来做到这一点？如果能原地.

就完美了

Answer 1

像这样：

library(Matrix)
m <- Matrix(0+1:28, nrow = 4)
m[-3,c(2,4:5,7)] <- m[ 3, 1:4] <- m[1:3, 6] <- 0
(m <- as(m, "dgTMatrix"))
m
#4 x 7 sparse Matrix of class "dgTMatrix"
#
#[1,] 1 .  9 .  .  .  .
#[2,] 2 . 10 .  .  .  .
#[3,] . .  . . 19  . 27
#[4,] 4 . 12 .  . 24  .

threshold <- 5
ind <- m@x <= threshold
m@x <- m@x[!ind]
m@i <- m@i[!ind]
m@j <- m@j[!ind]
m
#4 x 7 sparse Matrix of class "dgTMatrix"
#
#[1,] . .  9 .  .  .  .
#[2,] . . 10 .  .  .  .
#[3,] . .  . . 19  . 27
#[4,] . . 12 .  . 24  .

您只需要 ind 向量的 RAM。如果你想避免这种情况，你需要一个循环（可能在 Rcpp 中以提高性能）。

Answer 2

刚遇到这个问题。

Matrix包中包含drop0()函数，使用方法如下：

threshold <- th
m <- drop0(m, tol = th)

这似乎工作得很好。

R矩阵。将稀疏矩阵的特定元素设置为零。

R Matrix. Set particular elements of sparse matrix to zero.

r

sparse-matrix