Keras 序列模型的多个嵌入层
Multiple Embedding layers for Keras Sequential model
我正在使用 Keras(tensorflow 后端)并且想知道如何将多个嵌入层添加到 Keras 顺序模型中。
更具体地说,我的数据集中有几列具有分类值,我考虑过使用单热编码,但已确定分类项的数量有数百个,导致集合过大且过于稀疏的列。在寻找解决方案时,我发现 Keras 的嵌入层似乎非常优雅地解决了这个问题。然而,大多数示例(和 Keras 文档)都说明了一个非常简单的情况,只有一个嵌入层。
不幸的是,我不知道如何将多个嵌入层作为输入集成到单个模型中。
我的代码看起来像这样,但它不起作用,我猜测多个嵌入层按顺序操作(第一个嵌入层输入第二个,依此类推)而不是多个输入源型号:
model = Sequential()
model.add(Embedding(500, 64, input_length=10)) # categorical col 1
model.add(Embedding(100, 64, input_length=10)) # categorical col 2
model.add(Embedding(500, 64, input_length=10)) # categorical col 3
model.add(Flatten...
model.add(Dense...
我的问题是如何建立 Keras 顺序模型,以便能够使用上面显示的三个嵌入层。第一层和最后一层之间的具体内容:
model = Sequential()
#
# What goes here?
#
model.add(Dense...
我的方向是否正确,或者我的方法不正确,我需要以不同的方式建立模型?任何 suggestions/examples 不胜感激!
如果您切换到 functional API,这可以很容易地完成,请先阅读。然后您可以构建一个模型,其中包含代表不同列的多个输入:
col1, col2, col3 = Input(shape=(10,)), Input(shape=(10,)), ...
col1_embeded = Embedding(500, 64)(col1)
col2_embedded = Embedding(100, 64)(col2)
# ...
层的要点是构建计算图的可调用对象。例如,您还可以通过简单地使用相同的嵌入层在列之间共享嵌入层。
我正在使用 Keras(tensorflow 后端)并且想知道如何将多个嵌入层添加到 Keras 顺序模型中。
更具体地说,我的数据集中有几列具有分类值,我考虑过使用单热编码,但已确定分类项的数量有数百个,导致集合过大且过于稀疏的列。在寻找解决方案时,我发现 Keras 的嵌入层似乎非常优雅地解决了这个问题。然而,大多数示例(和 Keras 文档)都说明了一个非常简单的情况,只有一个嵌入层。
不幸的是,我不知道如何将多个嵌入层作为输入集成到单个模型中。
我的代码看起来像这样,但它不起作用,我猜测多个嵌入层按顺序操作(第一个嵌入层输入第二个,依此类推)而不是多个输入源型号:
model = Sequential()
model.add(Embedding(500, 64, input_length=10)) # categorical col 1
model.add(Embedding(100, 64, input_length=10)) # categorical col 2
model.add(Embedding(500, 64, input_length=10)) # categorical col 3
model.add(Flatten...
model.add(Dense...
我的问题是如何建立 Keras 顺序模型,以便能够使用上面显示的三个嵌入层。第一层和最后一层之间的具体内容:
model = Sequential()
#
# What goes here?
#
model.add(Dense...
我的方向是否正确,或者我的方法不正确,我需要以不同的方式建立模型?任何 suggestions/examples 不胜感激!
如果您切换到 functional API,这可以很容易地完成,请先阅读。然后您可以构建一个模型,其中包含代表不同列的多个输入:
col1, col2, col3 = Input(shape=(10,)), Input(shape=(10,)), ...
col1_embeded = Embedding(500, 64)(col1)
col2_embedded = Embedding(100, 64)(col2)
# ...
层的要点是构建计算图的可调用对象。例如,您还可以通过简单地使用相同的嵌入层在列之间共享嵌入层。