在 tflite micro 中进行 NN 推理时,您将模型权重和中间值存储在内存的哪一部分?
In which part of memory do you store model weights and intermediate values during NN inference in tflite micro?
在推断 TensorFlow Lite 微模型时,我有一个关于内存的问题。一开始,您定义了一个 tensor_arena
全局变量。这个保留的 space 到底存储了什么?您是否存储模型权重或模型推理期间的中间值,或两者都存储?输入数据呢? IE。当您向网络输入提供一些值时,这些值是否也存储在张量领域中?
提前感谢您的帮助
tensor arena 用于存储推理过程中的输入、输出和中间值。模型权重和偏差通常存储在模型本身中。模型和可执行代码存储在二进制的只读部分,arena占据可写数据部分。
默认情况下,竞技场内的内存尽可能为 planned and re-used,因为中间值可以在其生命周期之外被覆盖。因此,竞技场通常比中间缓冲区的总和小得多。
在推断 TensorFlow Lite 微模型时,我有一个关于内存的问题。一开始,您定义了一个 tensor_arena
全局变量。这个保留的 space 到底存储了什么?您是否存储模型权重或模型推理期间的中间值,或两者都存储?输入数据呢? IE。当您向网络输入提供一些值时,这些值是否也存储在张量领域中?
提前感谢您的帮助
tensor arena 用于存储推理过程中的输入、输出和中间值。模型权重和偏差通常存储在模型本身中。模型和可执行代码存储在二进制的只读部分,arena占据可写数据部分。
默认情况下,竞技场内的内存尽可能为 planned and re-used,因为中间值可以在其生命周期之外被覆盖。因此,竞技场通常比中间缓冲区的总和小得多。