如何为使用附加参数的 tf.keras 创建自己的损失函数？

Question

我的需求：

我想通过添加样本权重来修改神经网络中的损失函数。（我知道 .fit method 有 sample_weight 参数）。

我的想法是为我的神经网络创建额外的输入，为每个训练数据行预计算权重，如下所示：

# Generating mock data
train_X = np.random.randn(100, 5)
train_Y = np.random.randn(100, 1)
train_sample_weights = np.random.randn(*train_Y.shape)

# Designing loss function that uses my pre-computed weights
def example_loss(y_true, y_pred, sample_weights_):
    return K.mean(K.sqrt(K.sum(K.pow(y_pred - y_true, 2), axis=-1)), axis=0) * sample_weights_

# Two inputs for neural network, one for data, one for weights
input_tensor = Input(shape=(train_X.shape[1],))
weights_tensor = Input(shape=(train_sample_weights.shape[1],))

# Model uses only 'input_tensor'
x = Dense(100, activation="relu")(input_tensor)
out = Dense(1)(x)

# The 'weight_tensor' is inserted into example_loss() functon
loss_function = partial(example_loss, sample_weights_=weights_tensor)

# Model takes as an input both data and weights
model = Model([input_tensor, weights_tensor], out)
model.compile("Adam", loss_function)
model.fit(x=[train_X, train_sample_weights], y=train_Y, epochs=10)

我的问题：

当我使用 Keras 2.2.4 导入到运行时，以下代码有效：

import numpy as np
from functools import partial

import keras.backend as K
from keras.layers import Input, Dense
from keras.models import Model

当我使用 tf.keras 2.2.4-tf 导入到运行时，以下代码崩溃：

import numpy as np
from functools import partial

import tensorflow.keras.backend as K
from tensorflow.keras.layers import Input, Dense
from tensorflow.keras.models import Model

出现以下错误：

TypeError: example_loss() got an unexpected keyword argument 'sample_weight'

我的问题：

为什么会这样？
我怎样才能重写代码，这样的架构也可以在 2.2.4-tf 上运行？
适用于 Keras/tf.keras 框架的命题对我来说也是一个可以接受的答案。

错误很容易重现。只需要复制代码和运行.

Answer 1

你可以这样重写你的损失：

# Designing loss function that uses my pre-computed weights
def example_loss(sample_weights_):
    def loss(y_true, y_pred):
        return K.mean(K.sqrt(K.sum(K.pow(y_pred - y_true, 2), axis=-1)), axis=0) * sample_weights_

如您所见，这里我们有一个获取样本权重的函数，returns 另一个函数（实际损失）嵌入了样本权重。您可以将其用作：

model.compile(optimizer="adam", loss=example_loss(weights_tensor))

Answer 2

您需要像这样定义损失，以便向其传递新参数：

def custom_loss(sample_weights_):

    def example_loss(y_true, y_pred):
        return K.mean(K.sqrt(K.sum(K.pow(y_pred - y_true, 2), axis=-1)), axis=0) * sample_weights_

    return example_loss

然后这样称呼它：

model.compile("Adam", custom_loss(weights_tensor))

如何为使用附加参数的 tf.keras 创建自己的损失函数？

How to create your own loss function for tf.keras that uses additional parameter?

python

neural-network

keras

tensorflow

loss-function