Keras中如何实现RBF激活函数？

Question

我正在创建自定义激活函数，特别是 RBF 激活函数：

from keras import backend as K
from keras.layers import Lambda

l2_norm = lambda a,b:  K.sqrt(K.sum(K.pow((a-b),2), axis=0, keepdims=True))

def rbf2(x):
X = #here i need inputs that I receive from previous layer 
Y = # here I need weights that I should apply for this layer
l2 = l2_norm(X,Y)
res = K.exp(-1 * gamma * K.pow(l2,2))
return res

函数rbf2接收前一层作为输入：

#some keras layers
model.add(Dense(84, activation='tanh')) #layer1
model.add(Dense(10, activation = rbf2)) #layer2

我应该怎么做才能从 layer1 获取输入并从 layer2 获取权重以创建自定义激活函数？

我实际上想做的是，为 LeNet5 神经网络实现输出层。 LeNet-5 的输出层有点特殊，不是计算输入和权重向量的点积，而是每个神经元输出其输入向量与其权重向量之间的欧氏距离的平方。

例如，layer1 有 84 个神经元，layer2 有 10 个神经元。在一般情况下，为了计算 layer2 的 10 个神经元中每一个的输出，我们对 layer1 的 84 个神经元与 layer1 和 layer2 之间的 84 个权重进行点积。然后我们对其应用 softmax 激活函数。

但是在这里，layer2 的每个神经元都输出其输入向量与其权重向量之间的欧几里得距离的平方（我想将其用作我的激活函数），而不是进行点积。

任何关于创建 RBF 激活函数（计算层接收的输入和权重的欧氏距离）以及在层中使用它的帮助也很有帮助。

Answer 1

您可以简单地 define a custom layer 为此目的：

from keras.layers import Layer
from keras import backend as K

class RBFLayer(Layer):
    def __init__(self, units, gamma, **kwargs):
        super(RBFLayer, self).__init__(**kwargs)
        self.units = units
        self.gamma = K.cast_to_floatx(gamma)

    def build(self, input_shape):
        self.mu = self.add_weight(name='mu',
                                  shape=(int(input_shape[1]), self.units),
                                  initializer='uniform',
                                  trainable=True)
        super(RBFLayer, self).build(input_shape)

    def call(self, inputs):
        diff = K.expand_dims(inputs) - self.mu
        l2 = K.sum(K.pow(diff,2), axis=1)
        res = K.exp(-1 * self.gamma * l2)
        return res

    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.units)

用法示例：

model = Sequential()
model.add(Dense(20, input_shape=(100,)))
model.add(RBFLayer(10, 0.5))

Answer 2

这里没有必要重新发明轮子。 custom RBF layer for Keras 已经存在。

Keras中如何实现RBF激活函数？

How to implement RBF activation function in Keras?

python

machine-learning

keras

conv-neural-network

activation-function