Accuracy/Loss 不变

Question

这可能与之前的帖子重复，但这是我的代码。我的输入 X 是字符序列，每个字符长度为 10，编码为 1-26 个数字，并添加了随机数 noise.output 是序列中的下一个单词。

from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.layers.recurrent import LSTM
import keras.optimizers

in_out_neurons = 1
hidden_neurons = 20

model = Sequential()

# n_prev = 100, 2 values per x axis
model.add(LSTM(hidden_neurons, input_shape=(10, 1)))
model.add(Activation('relu'))
model.add(Dense(in_out_neurons))
model.add(Activation("sigmoid"))
model.add(Activation("softmax"))
rms = keras.optimizers.RMSprop(lr=5, rho=0.9, epsilon=1e-08, decay=0.0)
sgd = keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.001, nesterov=False)
model.compile(loss="binary_crossentropy",
    optimizer='adam',
    metrics=['accuracy'])

(X_train, y_train), (X_test, y_test) = train_test_split(data)

model.fit(X_train, y_train, batch_size=100, nb_epoch=50, validation_data=(X_test, y_test), verbose=1)
score = model.evaluate(X_test, y_test, verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])

predicted = model.predict(X_test, batch_size=700)

# and maybe plot it
pd.DataFrame(predicted).to_csv("predicted.csv")
pd.DataFrame(y_test).to_csv("test_data.csv")

尝试更改不同的损失函数和优化器。运气不好。

Answer 1

按数字编码字符不是一个好方法。它将被解释为数字，所以就像说 Y 和 Z 靠得很近，这是没有意义的。这就是 Embedding() 层存在的原因。或者您可以考虑 one-hot 编码。然后字符是 one-hot 长度为 26 的向量。例如，"a" 将变为 [1 0 0 0 0 0 0 0 0 ... 0]。

也就是说，它不起作用的原因是因为您将 Softmax 放在只有一个值的层上...一个值上的 Softmax 将始终给出输出 1，因此您的网络无法学习自输出无论之前发生什么，都是 1。

Softmax用于从张量中得到概率密度，如果只有一个可能的值，它将得到概率1。如果你想让一个神经元成为一个概率（在0和1之间）只使用乙状结肠，而不是 softmax。

希望对您有所帮助:)

Accuracy/Loss 不变

Accuracy/Loss doesn't change

sequence

prediction

lstm

keras