张量流量化
Tensorflow quantization
我想使用 Tensorflow 的 transform_graph 工具优化图表。我尝试优化来自 MultiNet 的图表（以及其他具有类似编码器-解码器架构的图表）。然而，优化图在使用 quantize_weights 时实际上更慢，而在使用 quantize_nodes 时甚至更慢。从 Tensorflow 的文档来看，在量化的时候可能没有任何改进，甚至可能更慢。知道下面的 graph/software/hardware 是否正常吗？
这是我的系统信息，供您参考：
- OS 平台和发行版：Linux Ubuntu 16.04
- TensorFlow 安装自：使用 TF 源代码 (CPU) 进行图形转换，使用二进制-python(GPU) 进行推理
- TensorFlow 版本：均使用 r1.3
- Python版本：2.7
- 巴泽尔版本：0.6.1
- CUDA/cuDNN 版本：8.0/6.0（仅推理）
- GPU 型号和内存：GeForce GTX 1080 Ti
如果有必要，我可以post复制所有用于复制的脚本。
Tensorflow 中的量化似乎只发生在 CPU 上。参见：https://github.com/tensorflow/tensorflow/issues/2807
我在 PC 环境中遇到了同样的问题。我的模型比不量化慢 9 倍。
但是当我将我的量化模型移植到 android 应用程序中时，可以加快速度。
似乎当前仅适用于 CPU 且仅适用于 ARM 基础 CPU，例如 android phone.
我想使用 Tensorflow 的 transform_graph 工具优化图表。我尝试优化来自 MultiNet 的图表（以及其他具有类似编码器-解码器架构的图表）。然而，优化图在使用 quantize_weights 时实际上更慢，而在使用 quantize_nodes 时甚至更慢。从 Tensorflow 的文档来看，在量化的时候可能没有任何改进，甚至可能更慢。知道下面的 graph/software/hardware 是否正常吗？
这是我的系统信息，供您参考：
- OS 平台和发行版：Linux Ubuntu 16.04
- TensorFlow 安装自：使用 TF 源代码 (CPU) 进行图形转换，使用二进制-python(GPU) 进行推理
- TensorFlow 版本：均使用 r1.3
- Python版本：2.7
- 巴泽尔版本：0.6.1
- CUDA/cuDNN 版本：8.0/6.0（仅推理）
- GPU 型号和内存：GeForce GTX 1080 Ti
如果有必要，我可以post复制所有用于复制的脚本。
Tensorflow 中的量化似乎只发生在 CPU 上。参见：https://github.com/tensorflow/tensorflow/issues/2807
我在 PC 环境中遇到了同样的问题。我的模型比不量化慢 9 倍。
但是当我将我的量化模型移植到 android 应用程序中时，可以加快速度。
似乎当前仅适用于 CPU 且仅适用于 ARM 基础 CPU，例如 android phone.