"Model not quantized" 在 post 之后-训练量化取决于模型结构？

Question

似乎 post- 训练量化对某些模型结构有效，对其他模型结构无效。例如，当我运行我的代码

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dense(10)
])

# Train the digit classification model
model.compile(optimizer='adam',
              loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=2)

和post-训练量化为

converter = tf.lite.TFLiteConverter.from_keras_model(model)
# This enables quantization
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.int8]
# This ensures that if any ops can't be quantized, the converter throws an error
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
# These set the input and output tensors to uint8 (added in r2.3)
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
# And this sets the representative dataset so we can quantize the activations
converter.representative_dataset = representative_data_gen


tflite_model = converter.convert()

with open('my_mnist_quant.tflite', 'wb') as f:
    f.write(tflite_model)

! edgetpu_compiler my_mnist_quant.tflite 命令运行得非常好，并创建了一个 tflite 模型，其性能与我在服务器上训练的模型相当。

但是，当我将模型更改为

model = keras.Sequential([
  keras.layers.InputLayer(input_shape=(28, 28)),
  keras.layers.Reshape(target_shape=(28, 28, 1)),
  keras.layers.Conv2D(64, kernel_size=3, activation='relu', input_shape=(28,28,1)),
  keras.layers.Flatten(),
  keras.layers.Dense(10, activation='softmax')
])

我所做的只是向我的模型添加一个卷积层和一些重塑层。但是，当我运行使用此模型进行量化时，一切运行都很好，直到我尝试使用 edgetpu_compiler 对其进行编译。在这种情况下，edgetpu_compiler 抱怨说我的模型没有量化，即使我运行与第一个模型完全相同的代码。

谁能给我解释一下为什么会出现这种错误？不同结构的模型能不能量化？

Answer 1

如果您使用的是 tf-nightly 或更高版本，则 MLIR 转换器可能已打开，但编译器尚不支持。这可能会导致一些奇怪的错误，如果你尝试通过添加关闭它：

converter.experimental_new_converter = False

这可能正是您遇到问题的原因！

"Model not quantized" 在 post 之后-训练量化取决于模型结构？

"Model not quantized" after post-training quantization depends on model structure?

python

keras

tensorflow

tpu

google-coral