如何使用 tensorflow softmax_cross_entropy_with_logits 缩放和重新规范化输出 class 不平衡

Question

我想缩放模型输出并重新规范化它以处理 class 不平衡问题。例如，如果我有 10 个标签输出 y_logits 及其 softmax y_pred 和先验 p，新输出应该是：

y_pred /= prior
y_pred /= sum(y_pred)

问题是 tensorflow 中的 softmax_cross_entropy_with_logits 函数采用对数 y_logits 而我需要在 y_pred 上进行缩放。知道如何在不自己实施交叉熵损失的情况下做到这一点吗？

Answer 1

对于那些面临相同问题的人，我找到了一个很好的解决方案，即以数值稳定的方式重新实现 CE。如果你想知道为什么你不应该像它的等式所说的那样直接实现 CE -∑ p_i log(q_i)，请查看这个 tutorial.

我用来应用先验的实现如下：

def modified_CE(logits=None, labels=None, priors=None):
    # subtracting the maximum value to prevent inf results
    # you should change the shape of your logits based on your data
    scaled_logits = logits - tf.reshape(tf.reduce_max(logits,1),shape=(7500,1))
    # renormalize your logits as a finale step for the log softmax function
    normalized_logits = scaled_logits - tf.reshape(tf.reduce_logsumexp(scaled_logits,1),shape=(7500,1))

    # apply the priors
    normalized_logits -= tf.log(np.array(priors,dtype=np.float32))
    # renormalize 
    normalized_logits -= tf.reshape(tf.reduce_logsumexp(normalized_logits,1),shape=(7500,1))

    return tf.reduce_mean(-tf.reduce_sum(labels[0,:,:]*normalized_logits,1))

如何使用 tensorflow softmax_cross_entropy_with_logits 缩放和重新规范化输出 class 不平衡

how to scale and renormalize the output with tensorflow softmax_cross_entropy_with_logits for class imbalance

tensorflow

softmax

cross-entropy