在 Keras 中强制对称

Question

我正在寻找一种在 Keras 中为函数创建神经网络模型的方法，该函数在输入交换方面是对称的。为简单起见，假设感兴趣的函数取决于两个变量 x,y 和 returns 一个标量 f=f(x,y)。此外，我们知道 f(x,y)=f(y,x) 对任何 x,y 都成立。为了确保我的 Keras 神经网络模型完全再现这种对称性，选择什么方法？

显然，我可以用对称数据训练模型，但我正在寻找的是一种将这种对称性 "hardcode" 引入模型的方法。

我知道，这个问题似乎很基础。抱歉，如果我忽略了这个问题的明显答案，在此先感谢您的帮助！

Answer 1

从你的问题来看，你正在寻找的似乎是一种方便的方法，可以让一个层或一组层共享权重，以正向和反向顺序应用于输入。

即类似于卷积如何通过一组时间步长识别模式，但考虑到输入缓冲区是循环的。

实现此目的的一种简便方法是将您的特殊 'convolution' 层放入可重用辅助模型中，然后最大池化结果。类似于以下内容：

from tensorflow import keras
from tensorflow.keras.layers import *
from tensorflow.keras.models import Model
from tensorflow.keras import backend as K

def make_inner_model():
  inp = Input(shape=(2,))
  h1 = Dense(8, activation='relu')(inp)
  out = Dense(1)(h1)
  model = Model(inp, out)
  return model

def make_model(inner_model):
  inp = Input(shape=(2,))
  rev = Lambda(lambda x: K.concatenate([x[:, 1:], x[:, 0:1]], axis=1))(inp)
  r1 = inner_model(inp)
  r2 = inner_model(rev)
  out = Maximum()([r1, r2])
  model = Model(inp, out)
  model.compile('adam', 'mse')
  return model

inner = make_inner_model()
model = make_model(inner)
model.summary()

在 Keras 中强制对称

Enforcing symmetry in Keras

machine-learning

neural-network

symmetry

keras