Keras 自定义损失函数 huber

Question

我使用 Keras 后端函数编写了 huber loss，效果很好：

def huber_loss(y_true, y_pred, clip_delta=1.0):
    error = y_true - y_pred
    cond  = K.abs(error) < clip_delta
         
    squared_loss = 0.5 * K.square(error)
    linear_loss  = clip_delta * (K.abs(error) - 0.5 * clip_delta)

    return tf_where(cond, squared_loss, linear_loss)

但是我需要一个更复杂的损失函数：

如果error <= A，使用squared_loss
如果A <= error < B，使用linear_loss
如果error >= B，使用sqrt_loss

我是这样写的:

def best_loss(y_true, y_pred, A, B):
    error = K.abs(y_true - y_pred)
    cond  = error <= A
    cond2 = tf_logical_and(A < error, error <= B)

    squared_loss = 0.5 * K.square(error)
    linear_loss  = A * (error - 0.5 * A)
    sqrt_loss = A * np.sqrt(B) * K.sqrt(error) - 0.5 * A**2

    return tf_where(cond, squared_loss, tf_where(cond2, linear_loss, sqrt_loss))

但是不行，这个损失函数的模型不收敛，请问是什么bug？

Answer 1

我喜欢通过使用像 Desmos 这样的程序绘制自定义函数来调试它们。 I graphed the Huber Loss using your implementation and it looks like how it should.

When I tried to graph your second function it looks like a valid loss function too。唯一的问题是当 B 小于 A 时。如果 B 的值大于 A，那么损失函数应该不是问题。如果这不是问题，那么您可以尝试在目标和输出之间切换减法，因为我不熟悉 tensorflow 如何处理微分，但顺序会影响梯度的方向。

Keras 自定义损失函数 huber

Keras custom loss function huber

python

machine-learning

keras

tensorflow

loss-function