将 SVM 添加到最后一层

Question

我做了什么：

我使用 Keras 实现了以下模型：

train_X, test_X, train_Y, test_Y = train_test_split(X, Y, test_size=0.2, random_state=np.random.seed(7), shuffle=True)

train_X = np.reshape(train_X, (train_X.shape[0], 1, train_X.shape[1]))
test_X = np.reshape(test_X, (test_X.shape[0], 1, test_X.shape[1]))

inp = Input((train_X.shape[1], train_X.shape[2]))
lstm = LSTM(1, return_sequences=False)(inp)
output = Dense(train_Y.shape[1], activation='softmax')(lstm)

model = Model(inputs=inp, outputs=output)
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
model.fit(train_X, train_Y, validation_split=.20, epochs=2, batch_size=50)

我想要的：

我想将 SVM 添加到模型的最后一层，但我不知道该怎么做？有什么想法吗？

Answer 1

这应该适用于添加 svm 作为最后一层。

inp = Input((train_X.shape[1], train_X.shape[2]))
lstm = LSTM(1, return_sequences=False)(inp)
output = Dense(train_Y.shape[1], activation='softmax', W_regularizer=l2(0.01)))(lstm)

model = Model(inputs=inp, outputs=output)
model.compile(loss='hinge', optimizer='adam', metrics=['accuracy'])
model.fit(train_X, train_Y, validation_split=.20, epochs=2, batch_size=50)

这里我使用 hinge 作为考虑二进制分类目标的损失。但如果不止于此，那么可以考虑使用categorical_hinge

Answer 2

将 softmax 更改为 linear 并使用 keras 2.2.4 添加 kernel_regularizer=l2(1e-4) 而不是 W_regularizer=l2(0.01)。使用 loss = categorical_hinge.

将 SVM 添加到最后一层

Add SVM to last layer

python

svm

neural-network

keras