Tensorflow量化：数组输出没有MinMax信息

Question

我正在尝试创建一个 Tensorflow 量化模型以使用 Coral USB 加速器进行推理。这是我的问题的最小独立示例：

import sys

import tensorflow as tf

CKPT = "a/out.ckpt"
TFLITE = "a/out.tflite"

args = sys.argv[1:]
if 0 == len(args):
    print("Options are 'train' or 'save'")
    exit(-1)
cmd = args[0]

if cmd not in ["train", "save"]:
    print("Options are 'train' or 'save'")
    exit(-1)

tr_in = [[1.0, 0.0], [0.0, 1.0], [0.0, 0.0], [1.0, 1.0]]
tr_out = [[1.0], [1.0], [0.0], [0.0]]

nn_in = tf.placeholder(tf.float32, (None, 2), name="input")

W = tf.Variable(tf.random_normal([2, 1], stddev=0.1))
B = tf.Variable(tf.ones([1]))

nn_out = tf.nn.relu6(tf.matmul(nn_in, W) + B, name="output")

if "train" == cmd:
    tf.contrib.quantize.create_training_graph(quant_delay=0)
    nn_act = tf.placeholder(tf.float32, (None, 1), name="actual")
    diff = tf.reduce_mean(tf.pow(nn_act - nn_out, 2))
    update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
    with tf.control_dependencies(update_ops):
        optimizer = tf.train.AdamOptimizer(
            learning_rate=0.0001,
        )
        goal = optimizer.minimize(diff)
else:
    tf.contrib.quantize.create_eval_graph()

init = tf.global_variables_initializer()
with tf.Session() as session:
    session.run(init)

    saver = tf.train.Saver()
    try:
        saver.restore(session, CKPT)
    except BaseException as e:
        print("While trying to restore: {}".format(str(e)))

    if "train" == cmd:
        for epoch in range(2):
            _, d = session.run([goal, diff], feed_dict={
                nn_in: tr_in,
                nn_act: tr_out,
            })
            print("Loss: {}".format(d))
        saver.save(session, CKPT)
    elif "save" == cmd:
        converter = tf.lite.TFLiteConverter.from_session(
            session, [nn_in], [nn_out],
        )
        converter.inference_type = tf.lite.constants.QUANTIZED_UINT8
        input_arrays = converter.get_input_arrays()
        converter.quantized_input_stats = {input_arrays[0] : (0.0, 1.0)}
        tflite_model = converter.convert()
        with open(TFLITE, "wb") as f:
            f.write(tflite_model)

假设您有一个名为 "a" 的目录，这可以是运行并且：

python example.py train
python example.py save

"train" 步骤应该可以正常工作，但在尝试导出量化的 tflite 文件时，我得到以下信息：

...
2019-05-14 14:03:44.032912: F tensorflow/lite/toco/graph_transformations/quantize.cc:144] Array output does not have MinMax information, and is not a constant array. Cannot proceed with quantization.
Aborted

我的目标是成功运行 "save" 步骤并最终得到一个经过训练的量化模型。我错过了什么？

Answer 1

TFLiteConverter 中有一个棘手的错误：

为了转换为量化模型格式，每个（几乎每个）数学运算节点都需要额外的节点（带有 MinMax 信息）。
这样的附加节点是在create_eval_graph函数之后添加的
但在转换为 TFLite 格式的过程中，转换器仅考虑 inputs 和 outputs 之间的节点（含）。因此，在这种情况下，nn_out 之后的附加节点（带有 MinMax 信息）是 "thrown away"，这会导致上述转换错误 :(

如果您构建通常以 softmax 层（不需要 MinMax 信息）结束的分类网络，则不会出现该错误。但对于回归网络来说，这是一个问题。我使用以下解决方法。

在调用create_eval_graph函数之前，在你的输出层之后添加额外的（实际上是无意义的）操作，像这样：

nn_out = tf.minimum(nn_out, 1e6)

您可以使用比预期输出层值上限大很多的任意数字（作为第二个参数）。它在我的情况下非常有效。

Tensorflow量化：数组输出没有MinMax信息

Tensorflow quantization: Array output does not have MinMax information

python

tensorflow

tensorflow-lite