使用 Tensorflow 实现联合损失的交集

Question

这可能更像是一个 Tensorflow 梯度问题。我一直在尝试将 Intersection over Union (IoU) 作为损失来实现，并且运行遇到了一些问题。到目前为止，这是我计算 IoU 的代码片段：

def get_iou(masks, predictions):
    ious = []
    for i in range(batch_size):
        mask = masks[i]
        pred = predictions[i]
        masks_sum = tf.reduce_sum(mask)
        predictions_sum = tf.reduce_mean(pred)
        intersection = tf.reduce_sum(tf.multiply(mask, pred))
        union = masks_sum + predictions_sum - intersection
        iou = intersection / union
        ious.append(iou)
    return ious

iou = get_iou(masks, predictions)
mean_iou_loss = -tf.log(tf.reduce_sum(iou))
train_op = tf.train.AdamOptimizer(0.001).minimize(mean_iou_loss)

它按预期工作。但是，我遇到的问题是损失没有减少。该模型确实进行了训练，尽管结果不太理想，所以我想知道我是否正确实施了它。我必须自己计算梯度吗？我可以使用 tf.gradients() 计算由 this paper 导出的 IoU 损失的梯度，但我不确定如何将其与 tf.train.AdamOptimizer() 合并。阅读文档，我觉得 compute_gradients 和 apply_gradients 是我需要使用的命令，但我找不到任何关于如何使用它们的示例。我的理解是 Tensorflow 图应该能够通过链式法则本身得出梯度。那么在这个问题中甚至需要自定义渐变吗？如果自定义梯度不是必需的，那么我可能只是遇到了不适定问题，需要调整一些超参数。

注意：我已经尝试过 Tensorflow 的 IoU 实现，tf.metrics.mean_iou()，但它每次都吐出 inf，所以我放弃了。

Answer 1

梯度计算发生在 optimizer.minimize 函数内部，因此，不需要在损失函数内部显式使用。但是，您的实现只是缺少可优化、可训练的变量。

iou = get_iou(masks, predictions)
mean_iou_loss = tf.Variable(initial_value=-tf.log(tf.reduce_sum(iou)), name='loss', trainable=True)
train_op = tf.train.AdamOptimizer(0.001).minimize(mean_iou_loss)

除了数值稳定性、可微性和特定实现之外，这应该足以将其用作损失函数，它会随着迭代而变化。

也看看：

https://arxiv.org/pdf/1902.09630.pdf

Why does one not use IOU for training?

使用 Tensorflow 实现联合损失的交集

Implementing Intersection over Union Loss Using Tensorflow

python

bounding-box

object-detection

conv-neural-network

tensorflow