Tensorflow Custom Regularization Term 将预测值与真值进行比较

Question

你好，我需要一个自定义正则化项来添加到我的（二元交叉熵）损失函数中。有人可以帮我用 Tensorflow 语法来实现吗？我尽可能地简化了一切，这样可以更容易地帮助我。

该模型将 18 x 18 二进制配置的数据集 10000 作为输入，并将 16x16 的配置集作为输出。神经网络仅包含 2 个卷积层。

我的模型是这样的：

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
EPOCHS = 10
model = models.Sequential()
model.add(layers.Conv2D(1,2,activation='relu',input_shape=[18,18,1]))
model.add(layers.Conv2D(1,2,activation='sigmoid',input_shape=[17,17,1]))
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3),loss=tf.keras.losses.BinaryCrossentropy())
model.fit(initial.reshape(10000,18,18,1),target.reshape(10000,16,16,1),batch_size = 1000, epochs=EPOCHS, verbose=1)
output = model(initial).numpy().reshape(10000,16,16)

现在我写了一个函数，我想将其用作附加正则化术语以作为正则化术语。此函数采用真实值和预测值。基本上它将两者的每个点与其 'right' 邻居相乘。然后取差值。我假设真实项和预测项是 16x16（而不是 10000x16x16）。这是正确的吗？

def regularization_term(prediction, true):
    order = list(range(1,4))
    order.append(0)
    
    deviation = (true*true[:,order]) - (prediction*prediction[:,order])
    deviation = abs(deviation)**2
    return 0.2 * deviation

我真的很感激能为我的损失添加类似这个函数的东西作为正则化项，以帮助神经网络更好地训练这种 'right neighbor' 交互。我真的很难经常使用可定制的 Tensorflow 功能。谢谢，非常感谢。

Answer 1

很简单。您需要指定一个自定义损失，在其中定义您添加的正则化项。像这样：

# to minimize!
def regularization_term(true, prediction):
    order = list(range(1,4))
    order.append(0)
    
    deviation = (true*true[:,order]) - (prediction*prediction[:,order])
    deviation = abs(deviation)**2
    return 0.2 * deviation

def my_custom_loss(y_true, y_pred):
    return tf.keras.losses.BinaryCrossentropy()(y_true, y_pred) + regularization_term(y_true, y_pred)


model.compile(optimizer='Adam', loss=my_custom_loss)

如 keras 所述：

Any callable with the signature loss_fn(y_true, y_pred) that returns an array of losses (one of sample in the input batch) can be passed to compile() as a loss. Note that sample weighting is automatically supported for any such loss.

所以一定要return一个数组损失()。 基本上 y_true 和 y_predicted 的第一个维度是批量大小 。

此处详细信息：https://keras.io/api/losses/

Tensorflow Custom Regularization Term 将预测值与真值进行比较

Tensorflow Custom Regularization Term comparing the Prediction to the True value

python

tensorflow

machine-learning

conv-neural-network

loss-function