限制神经网络回归中的输出总和 (Keras)

Question

我正在预测 7 个目标，这是一个值的比率，因此对于每个样本，所有预测值的总和应该为 1。除了在输出中使用 softmax（这看起来显然不正确），我只是想不出其他方法来限制所有预测输出的总和为 =1..
感谢您的任何建议。

input_x = Input(shape=(input_size,))
output = Dense(512, activation=PReLU())(input_x)
output = Dropout(0.5)(output)
output = Dense(512, activation=PReLU())(output)
output = Dropout(0.5)(output)
output = Dense(16, activation=PReLU())(output)
output = Dropout(0.3)(output)
outputs = Dense(output_size, activation='softmax')(output)
#outputs = [Dense(1, activation=PReLU())(output) for i in range(output_size)] #multioutput nn

nn = Model(inputs=input_x, outputs=outputs)
es = EarlyStopping(monitor='val_loss',min_delta=0,patience=10,verbose=1, mode='auto')
opt=Adam(lr=0.001, decay=1-0.995)
nn.compile(loss='mean_absolute_error', optimizer=opt)
history = nn.fit(X, Y, validation_data = (X_t, Y_t), epochs=100, verbose=1, callbacks=[es])

目标示例：

所以，这是一个特征的所有比率，每行的总和 =1。
例如特征 - 'Total' =100 分，A=25 分，B=25 分，所有其他 - 10 分。所以，我的 7 个目标比率将是 0.25/0.25/0.1/0.1/0.1/0.1/0.1。

我需要训练和预测这样的比率，所以将来，知道 'Total' 我们可以从预测的比率恢复点数。

Answer 1

我想我理解你的动机，以及为什么 "softmax won't cut it"。

这是因为 softmax 不是线性缩放的，所以：

>>> from scipy.special import softmax
>>> softmax([1, 2, 3, 4])
array([0.0320586 , 0.08714432, 0.23688282, 0.64391426])
>>> softmax([1, 2, 3, 4]) * 10
array([0.32058603, 0.87144319, 2.36882818, 6.4391426 ])

这看起来与原始数组完全不同。

虽然不要轻易忽略 softmax - 它可以处理特殊情况，例如负值、零、预激活信号的零和...但是如果您希望将最终回归归一化为一，并期望结果是非负的，你可以简单地将它除以总和：

input_x = Input(shape=(input_size,))
output = Dense(512, activation=PReLU())(input_x)
output = Dropout(0.5)(output)
output = Dense(512, activation=PReLU())(output)
output = Dropout(0.5)(output)
output = Dense(16, activation=PReLU())(output)
output = Dropout(0.3)(output)
outputs = Dense(output_size, activation='relu')(output)
outputs = Lambda(lambda x: x / K.sum(x))(outputs)

nn = Model(inputs=input_x, outputs=outputs)

Dense 层当然需要与 'softmax' 不同的激活（relu 甚至线性都可以）。

限制神经网络回归中的输出总和 (Keras)

Restrict the sum of outputs in a neural network regression (Keras)

python

keras

tensorflow

activation-function