如何运作 ANeuralNetworksMemory_createFromFd？

Question

在 Android 神经网络 API 文档中说：从文件描述符创建共享内存对象。

但我在 TFL 源代码上找不到任何指定此文件格式的地方：

allocation.cc:

MMAPAllocation::MMAPAllocation(const char* filename,
                               ErrorReporter* error_reporter)
    : Allocation(error_reporter), mmapped_buffer_(MAP_FAILED) {
  mmap_fd_ = open(filename, O_RDONLY);
  if (mmap_fd_ == -1) {
    error_reporter_->Report("Could not open '%s'.", filename);
    return;
  }
  struct stat sb;
  fstat(mmap_fd_, &sb);
  buffer_size_bytes_ = sb.st_size;
  mmapped_buffer_ =
      mmap(nullptr, buffer_size_bytes_, PROT_READ, MAP_SHARED, mmap_fd_, 0);
  if (mmapped_buffer_ == MAP_FAILED) {
    error_reporter_->Report("Mmap of '%s' failed.", filename);
    return;
  }
}

nnapi_delegate.cc

NNAPIAllocation::NNAPIAllocation(const char* filename,
                                 ErrorReporter* error_reporter)
    : MMAPAllocation(filename, error_reporter) {
  if (mmapped_buffer_ != MAP_FAILED)
    CHECK_NN(ANeuralNetworksMemory_createFromFd(buffer_size_bytes_, PROT_READ,
                                                mmap_fd_, 0, &handle_));
}

意思是，TFL打开文件，把这个文件交给NNAPI。我需要的是这个存储张量的文件的格式是什么，它是像 TFL 格式的平面缓冲区文件吗？

编辑：这是来自 NNAPI 文档的示例：

ANeuralNetworksMemory* mem1 = NULL;
int fd = open("training_data", O_RDONLY);
ANeuralNetworksMemory_createFromFd(file_size, PROT_READ, fd, 0, &mem1);

这个文件training_data，它的内容必须如何组织才能让 NNAPI 理解？

Answer 1

模型文件的加载和解析是分开进行的。这使得在不同内存模型和不同文件格式之间 mix-and-match 更容易。它还可以将这些构建块用于其他功能，例如从文件加载输入。

ANeuralNetworksMemory_createFromFd()只是用来将模型文件加载到内存中。

FlatBufferModel::BuildFromFile() 获取代表模型的分配（内存块）。这是调用 ANeuralNetworksMemory_createFromFd() 的地方。然后它更新了一个 FlatBufferModel 对象。这会调用架构子目录中的 tflite::GetModel() 。架构子目录从加载到内存中的 .tflite 模型中反序列化 flat-buffer-model。

当调用 NNAPIDelegate::Invoke() 时，模式模型对象用于在 Android-NN 层中使用 ANeuralNetworksModel_addOperand().

等调用构建模型

Answer 2

ANeuralNetworksMemory_createFromFd(file_size, PROT_READ, fd, 0, &mem1) - 此 API 将模型文件映射到 ANeuralNetworksMemory。

映射地址存储在mem1（通过引用传递！）

此外，通过指向适当的偏移值读取存储在 mem1（ANeuralNetworksMemory 对象）中的训练值，并将其复制到神经网络模型的张量中。

 ANeuralNetworksModel_setOperandValueFromMemory(model_, tensor0, mem1, offset, size);
 ANeuralNetworksModel_setOperandValueFromMemory(model_, tensor1, mem1, offset+size, size);

tensor0 - 指向 offset
tensor1 - 指向 offset+size

如何运作 ANeuralNetworksMemory_createFromFd？

How works ANeuralNetworksMemory_createFromFd?

c

c++

android

tensorflow-lite

nnapi