连接字符嵌入和词嵌入

Question

我想使用字符序列和单词序列作为输入。它们中的每一个都将嵌入其相关词汇表，然后将结果嵌入连接起来。我编写了以下代码来连接两个嵌入：

char_model = Sequential()
char_model.add(Embedding(vocab_size, char_emnedding_dim,input_length=char_size,embeddings_initializer='random_uniform',trainable=False, input_shape=(char_size, )))

word_model = Sequential()
word_model.add(Embedding(word_vocab_size,word_embedding_dim, weights=[embedding_matrix], input_length=max_length, trainable=False,input_shape=(max_length, )))

model = Sequential()
model.add(Concatenate([char_model, word_model]))
model.add(Dropout(drop_prob))
model.add(Conv1D(filters=250, kernel_size=3, padding='valid', activation='relu', strides = 1))
model.add(GlobalMaxPooling1D())
model.add(Dense(hidden_dims)) # fully connected layer
model.add(Dropout(drop_prob)) 
model.add(Activation('relu'))
model.add(Dense(num_classes)) 
model.add(Activation('softmax'))
print(model.summary())

当我执行代码时，出现以下错误：

ValueError: This model has not yet been built. Build the model first by calling build() or calling fit() with some data. Or specify input_shape or batch_input_shape in the first layer for automatic build.

我为每个嵌入定义了input_shape，但我仍然有同样的错误。如何连接两个顺序模型？

Answer 1

问题出在这一行：

model.add(Concatenate([char_model, word_model]))

更不用说你错误地调用了 Concatenate 层，你不能在顺序模型中有连接层，因为根据定义它不再是顺序模型。相反，使用 Keras Functional API 来定义这样一个模型。

连接字符嵌入和词嵌入

Concatenate char embeddings and word embeddings

python

machine-learning

keras

nlp

word-embedding