Keras嵌入层导致维度问题
Keras embedding layer causing dimensionality problems
我目前正在尝试将嵌入层包含到我的序列到序列自动编码器中,该编码器是使用 keras 函数构建的 API。
模型代码如下所示:
#Encoder inputs
encoder_inputs = Input(shape=(None,))
#Embedding
embedding_layer = Embedding(input_dim=n_tokens, output_dim=2)
encoder_embedded = embedding_layer(encoder_inputs)
#Encoder LSTM
encoder_outputs, state_h, state_c = LSTM(n_hidden, return_state=True)(encoder_embedded)
lstm_states = [state_h, state_c]
#Decoder Inputs
decoder_inputs = Input(shape=(None,))
#Embedding
decoder_embedded = embedding_layer(decoder_inputs)
#Decoder LSTM
decoder_lstm = LSTM(n_hidden, return_sequences=True, return_state=True, )
decoder_outputs, _, _ = decoder_lstm(decoder_embedded, initial_state=lstm_states)
#Dense + Time
decoder_dense = TimeDistributed(Dense(n_tokens, activation='softmax'), input_shape=(None, None, 256))
#decoder_dense = Dense(n_tokens, activation='softmax', )
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
模型是这样训练的:
model.fit([X, y], X, epochs=n_epoch, batch_size=n_batch)
X 和 y 的形状为 (n_samples, n_seq_len)
模型的编译工作完美无缺,而在尝试训练时,我总是得到:
ValueError: Error when checking target: expected time_distributed_1 to
have 3 dimensions, but got array with shape (n_samples, n_seq_len)
有人有想法吗?
Keras 版本为 2.2.4
Tensorflow 后端版本 1.12.0
在这样的自动编码器中,由于最后一层是 softmax 分类器,您需要对标签进行单热编码:
from keras.utils import to_categorical
one_hot_X = to_categorical(X)
model.fit([X, y], one_hot_X, ...)
附带说明,由于 ,因此无需将 Dense
层包裹在 TimeDistributed
层中。
我目前正在尝试将嵌入层包含到我的序列到序列自动编码器中,该编码器是使用 keras 函数构建的 API。
模型代码如下所示:
#Encoder inputs
encoder_inputs = Input(shape=(None,))
#Embedding
embedding_layer = Embedding(input_dim=n_tokens, output_dim=2)
encoder_embedded = embedding_layer(encoder_inputs)
#Encoder LSTM
encoder_outputs, state_h, state_c = LSTM(n_hidden, return_state=True)(encoder_embedded)
lstm_states = [state_h, state_c]
#Decoder Inputs
decoder_inputs = Input(shape=(None,))
#Embedding
decoder_embedded = embedding_layer(decoder_inputs)
#Decoder LSTM
decoder_lstm = LSTM(n_hidden, return_sequences=True, return_state=True, )
decoder_outputs, _, _ = decoder_lstm(decoder_embedded, initial_state=lstm_states)
#Dense + Time
decoder_dense = TimeDistributed(Dense(n_tokens, activation='softmax'), input_shape=(None, None, 256))
#decoder_dense = Dense(n_tokens, activation='softmax', )
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
模型是这样训练的:
model.fit([X, y], X, epochs=n_epoch, batch_size=n_batch)
X 和 y 的形状为 (n_samples, n_seq_len)
模型的编译工作完美无缺,而在尝试训练时,我总是得到:
ValueError: Error when checking target: expected time_distributed_1 to have 3 dimensions, but got array with shape (n_samples, n_seq_len)
有人有想法吗?
Keras 版本为 2.2.4
Tensorflow 后端版本 1.12.0
在这样的自动编码器中,由于最后一层是 softmax 分类器,您需要对标签进行单热编码:
from keras.utils import to_categorical
one_hot_X = to_categorical(X)
model.fit([X, y], one_hot_X, ...)
附带说明,由于 Dense
层包裹在 TimeDistributed
层中。