如何为 Keras 中的每个输出应用 sigmoid 函数？

Question

这是我的部分代码。

model = Sequential()
model.add(Dense(3, input_shape=(4,), activation='softmax'))
model.compile(Adam(lr=0.1),
          loss='categorical_crossentropy',
          metrics=['accuracy'])

使用此代码，它会立即将 softmax 应用于所有输出。所以输出表示所有概率。但是，我正在研究非排他性分类火，这意味着我希望输出具有独立的概率。对不起我的英语不好... 但我想做的是将 sigmoid 函数应用于每个输出，以便它们具有独立的概率。

Answer 1

您可以尝试使用函数 API 创建具有 n 个输出的模型，其中每个输出都由 sigmoid 激活。

你可以这样做

in = Input(shape=(4, ))

dense_1 = Dense(units=4, activation='relu')(in)

out_1 = Dense(units=1, activation='sigmoid')(dense_1)
out_2 = Dense(units=1, activation='sigmoid')(dense_1)
out_3 = Dense(units=1, activation='sigmoid')(dense_1)

model = Model(inputs=[in], outputs=[out_1, out_2, out_3])

Answer 2

不需要像接受的答案所建议的那样创建 3 个单独的输出。

同样的结果只需要一行即可：

model.add(Dense(3, input_shape=(4,), activation='sigmoid'))

您可以只对最后一层使用 'sigmoid' 激活：

from tensorflow.keras.layers import GRU
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Activation
import numpy as np

from tensorflow.keras.optimizers import Adam

model = Sequential()
model.add(Dense(3, input_shape=(4,), activation='sigmoid'))
model.compile(Adam(lr=0.1),
          loss='categorical_crossentropy',
          metrics=['accuracy'])

pred = model.predict(np.random.rand(5, 4))
print(pred)

独立概率的输出：

[[0.58463055 0.53531045 0.51800555]
 [0.56402034 0.51676977 0.506389  ]
 [0.665879   0.58982867 0.5555959 ]
 [0.66690147 0.57951677 0.5439698 ]
 [0.56204814 0.54893976 0.5488999 ]]

如您所见，classes 概率彼此独立。 sigmoid 分别应用于每个 class。

如何为 Keras 中的每个输出应用 sigmoid 函数？

How to apply sigmoid function for each outputs in Keras?

python

machine-learning

deep-learning

keras

sigmoid