自定义 sigmoid 激活函数

Question

所以，我正在使用 Keras 来实现卷积神经网络。在我的解码拓扑结构的末尾，有一个带有 sigmoid 激活的 Conv2D 层。

decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)

基本上，我想更改 sigmoid 实现，我的目标是使它成为二进制类型的激活函数，return如果 sigmoid 函数的值低于 0.5 则为 0，如果它的值等于或高于 1 则为 1 0.5.

在 Tensorflow 实现中搜索，我发现 sigmoid 是这样的：

def sigmoid(x, name=None):
    with ops.name_scope(name, "Sigmoid", [x]) as name:
        x = ops.convert_to_tensor(x, name="x")
        return gen_math_ops._sigmoid(x, name=name)

我在操作 gen_math_ops return 以将其值与 0.5 阈值进行比较时遇到问题。我知道由于张量类型的限制，通常的 if 不能使用，所以我应该如何解决这个问题？

Answer 1

四舍五入你的输出。

def hardsigmoid(x): 
  return tf.round(tf.nn.sigmoid(x))

请记住，这样的硬 sigmoid 在任何地方都有零个导数，因此您将无法使用任何基于梯度的技术来训练它。

自定义 sigmoid 激活函数

Custom sigmoid activation function

python

neural-network

conv-neural-network

keras

activation-function