如何在 Android 的 Tensorflow Lite 上使用 HAL 1.2 版？

Question

我有一个量化的 TensorflowLite 模型，我正在将其加载到 Pixel 3 运行 Android 11. 我使用 Tensorflow Lite 2.5 构建了模型，并且我正在使用 Tensorflow 的夜间构建Android.

我正在使用默认提供的 NNAPI 委托初始化 TFLite 解释器。

但是，当我加载模型时，我从 NNAPI 收到以下错误：

/OperationsUtils(16219): NN_RET_CHECK failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)
E/Utils   (16219): Validation failed for operation QUANTIZE
E/OperationsUtils(16219): NN_RET_CHECK failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)

Android 11 应该支持 NNAPI 1.2。 TensorFlow 或 Android 是否缺少某些参数以启用对 NNAPI 更高版本的支持？

作为参考，这里是我的 gradle 文件中的依赖项：

dependencies {
    // snip
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly-SNAPSHOT'
}

Answer 1

原来这些错误是来自 NNAPI 的更多警告。 Tensorflow Lite 正在为所有可用设备创建模型，NNAPI 根据操作选择最佳模型。添加详细登录所有这一切的最终结果是 NNAPI 决定唯一能够处理模型的设备是 qti-default 设备。错误来自 paintbox 和 nnapi-reference 设备，然后在模型的执行中不使用它们。

我认为这些消息是导致在 NNAPI 上执行模型失败的原因，但还有其他问题。

所以这个问题的答案是 TensorFlow Lite 和 NNAPI select 尽可能支持最好的设备，尽管有可怕的错误消息。

如何在 Android 的 Tensorflow Lite 上使用 HAL 1.2 版？

How do I use HAL version 1.2 on Tensorflow Lite for Android?

android

tensorflow

tensorflow-lite

nnapi