Keras 二元分类 - Sigmoid 激活函数

Question

我已经在 Keras 中使用 tensorflow 实现了一个基本的 MLP，我正在尝试解决二进制 classification 问题。对于二进制 classification，似乎 sigmoid 是推荐的激活函数，我不太明白为什么，以及 Keras 如何处理这个问题。

我理解 sigmoid 函数会产生 0 到 1 之间的值。我的理解是，对于使用 sigmoid 的 classification 问题，会有一个特定的阈值用于确定 class 输入（通常为 0.5）。在 Keras 中，我没有看到任何指定此阈值的方法，所以我假设它是在后端隐式完成的？如果是这种情况，Keras 如何区分在二元 class 化问题或回归问题中使用 sigmoid？对于二进制 classification，我们需要一个二进制值，但是对于回归，我们需要一个标称值。我所看到的可能表明这是损失函数。这是通知 Keras 如何处理数据吗？

此外，假设 Keras 隐式应用阈值，为什么当我使用我的模型预测新数据时它输出标称值？

例如：

y_pred = model.predict(x_test)
print(y_pred)

给出：

[7.4706882e-02] [8.3481872e-01] [2.9314638e-04] [5.2297767e-03] [2.1608515e-01] ... [4.4894204e-03] [5.1120580e-05] [7.0263929e-04]

我可以在预测得到二进制输出时自己应用一个阈值，但是 Keras 肯定必须这样做才能正确 classify？也许 Keras 在训练模型时应用了一个阈值，但是当我用它来预测新值时，阈值没有被使用，因为损失函数没有被用于预测？或者根本不应用阈值，而输出的标称值恰好适用于我的模型？我已经检查过二进制 classification 的 Keras 示例是否发生了这种情况，所以我认为我的代码没有任何错误，尤其是因为它预测准确。

如果有人能解释这是如何工作的，我将不胜感激。

这是我的模型作为参考点：

model = Sequential()
model.add(Dense(124, activation='relu', input_shape = (2,)))
model.add(Dropout(0.5))
model.add(Dense(124, activation='relu'))
model.add(Dropout(0.1))
model.add(Dense(1, activation='sigmoid'))
model.summary()

model.compile(loss='binary_crossentropy',
              optimizer=SGD(lr = 0.1, momentum = 0.003),
              metrics=['acc'])

history = model.fit(x_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1,
                    validation_data=(x_test, y_test))
score = model.evaluate(x_test, y_test, verbose=0)

Answer 1

二进制class化的输出是样本属于class的概率。

how is Keras distinguishing between the use of sigmoid in a binary classification problem, or a regression problem?

不需要。它使用损失函数计算损失，然后计算导数并更新权重。

换句话说：

在训练期间，框架将损失降至最低。用户必须指定损失函数（由框架提供）或提供他们自己的。网络只关心这个函数输出的标量值，它的 2 个参数是预测的 y^ 和实际的 y.
每个激活函数实现前向传播和back-propagation函数。该框架只对这两个功能感兴趣。它不关心函数到底做了什么，只要梯度下降是可微的就可以工作。

Answer 2

您可以使用

在 compile() 中显式分配阈值

tf.keras.metrics.BinaryAccuracy(
    name="binary_accuracy", dtype=None, threshold=0.5
)

喜欢以下内容：

model.compile(optimizer='sgd',
              loss='mse',
              metrics=[tf.keras.metrics.BinaryAccuracy()])

Keras 二元分类 - Sigmoid 激活函数

Keras Binary Classification - Sigmoid activation function

python

neural-network

keras

tensorflow

sigmoid