自定义 keras 指标 returns nan

Question

我想在 class化问题中进一步将输出 classes 放入更少的桶中。我有 4 个输出 classes（即 0、1、2、3）。但在训练期间，我还想跟踪 2 classes:

的准确性

将 0 和 1 视为 class 0
将 2 和 3 视为 class 1

为此，我创建了一个新指标并使用模型对其进行了编译：

def new_classes_acc(y_true, y_pred):
  actual = tf.floor( y_true / 2 )
  predicted = tf.floor( y_pred / 2 )
  return K.categorical_crossentropy(actual, predicted)

这样编译：

model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy', new_classes_acc])

我得到 nan 作为精度值。正确的做法是什么？

Answer 1

因为有 4 个 class 并且您将 categorical_crossentropy 设置为损失，那么标签是单热编码的并且形状为 (n_samples, 4)。因此，首先您需要使用 argmax 函数找到真实的和预测的 classes，然后使用 floor 函数（此外，您想创建一个度量而不是损失函数；因此您应该不使用 K.categorical_crossentropy):

from keras import backend as K
import tensorflow as tf

def custom_metric(y_true, y_pred):
    tr = tf.floor(K.argmax(y_true, axis=-1) / 2)
    pr = tf.floor(K.argmax(y_pred, axis=-1) / 2)
    return K.cast(K.equal(tr, pr), K.floatx())

现在，我们来测试一下。首先我们创建一个简单的模型并编译它：

model = Sequential()
model.add(Dense(4, activation='softmax', input_shape=(2,)))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy', custom_metric])

然后我们创建虚拟数据：

import numpy as np
data = np.array([1, 2]).reshape(1, 2)

并使用我们的模型预测给定数据的标签：

print(model.predict(data))
# prints: [0.04662106, 0.8046941 , 0.07660434, 0.0720804 ]

所以第二个 class 的概率最高，将是预测的标签。现在，考虑我们定义的自定义指标，给定 [1, 0, 0, 0] 或 [0, 1, 0, 0] 作为真实标签，自定义指标应该给我们 1（即 100%）。让我们确认一下：

true_labels = np.array([1, 0, 0, 0]).reshape(1,4)
print(model.evaluate(data, true_labels))    # gives: [3.0657029151916504, 0.0, 1.0]

returned 列表的第一个元素对应损失，第二个元素对应 accuracy，第三个元素对应我们的自定义指标。如您所见，准确度为零（因为真实的 class 是 class 一，但预测的 class 是 class 二）并且自定义指标如预期的那样为 1。

另一种情况：

true_labels = np.array([0, 1, 0, 0]).reshape(1,4)
print(model.evaluate(data, true_labels))    # gives: [0.21729297935962677, 1.0, 1.0]

此处准确度为 1（因为真实和预测 class 都是 class 2）并且自定义指标也是 1。您可以进一步确认其余两种情况 [0, 0, 1, 0] 和 [0, 0, 0, 1] 为真实标签；对于自定义指标的值，两者都应 return 为零。

奖励： 如果标签是稀疏的，即 0、1、2 和 3 怎么办？然后，您可以使用 keras.np_utils.to_categorical() 方法对它们进行单热编码，然后使用上面定义的自定义指标。

自定义 keras 指标 returns nan

custom keras metric returns nan

python

machine-learning

keras

tensorflow

loss-function