在 Scala 中如何将字节数组分成块？

Question

我正在尝试根据从 0MB 到 15MB 的各种文件大小实现分块逻辑。我有文件的字节数组，但我试图将数组分块为小于 5MB 的块。

例如，如果我有一个 10.6MB（1.06e+7 字节）的文件，我想将其分成单独的字节数组，加起来为 1.06e+7 字节。这应该能够处理任何小于 15MB 的文件大小。

var chunkSize: Int = 5242880
    for(index <- 0 to byteArraySize by chunkSize) {

          if (index == 0){
            tempArray = byteArray.slice(index, chunkSize)
          } else{
            tempArray = byteArray.slice(index+1, (index + chunkSize))
          }
// upload tempArray to DB
          segmentIndex = segmentIndex + 1

        }

我遇到的问题是最后一块的大小不合适。应该是字节数组分块成5242880字节数组后剩下的。

Answer 1

由于 grouped 方法 returns 是一个惰性迭代器，因此可能不会浪费任何内存，我看不出有任何理由不使用它：

for (chunk <- byteArray.grouped(chunkSize)) {
  // do sth. with `chunk`
}

以下是不使用内置方法的方法：

def forEachChunk[A](arr: Array[A], chunkSize: Int)(f: Array[A] => Unit): Unit = {
  for (i <- 0 to arr.size by chunkSize) {
    f(arr.slice(i, (i + chunkSize) min arr.size))
  }
}

示例：

forEachChunk((0 to 10).toArray, 3){ chunk => 
  println(chunk.toList)
}

打印：

List(0, 1, 2)
List(3, 4, 5)
List(6, 7, 8)
List(9, 10)

在 Scala 中如何将字节数组分成块？

How do you divide a byte array into chunks in Scala?

arrays

scala

chunks

chunking

chunked