如何对单个神经元应用转换？

Question

通常，激活函数应用于给定层的所有神经元，如

layer = tf.nn.relu(layer)

如何应用激活函数来只说第二个神经元？

我怎样才能将特定的转换（比如 tf.exp()）仅应用于特定的神经元？

这里不能对列进行切片，因为对列进行切片我需要知道行数，而在构建时它是未知的。

Answer 1

您可以对动态形状的张量进行切片，就像静态张量一样。在这里，我将所有内容都剥离为 [?, 2] 张量，它是 0 切片：

import numpy as np
import tensorflow as tf

x = tf.placeholder(dtype=tf.float32, shape=[None, 2], name='x')
layer = tf.nn.relu(x)
slice = layer[:, 0]
activation = tf.log(1 + tf.exp(slice))

with tf.Session() as session:
  session.run(tf.global_variables_initializer())
  layer_val, slice_val, activ_val = session.run([layer, slice, activation],
                                                feed_dict={x: np.random.randn(10, 2)})
  print layer_val[:, 0]
  print slice_val
  print activ_val

你应该看到layer_val[:, 0]和slice_val是一样的，activ_val是它的变换

如何对单个神经元应用转换？

how to apply a transformation to a single neuron?

python

machine-learning

tensorflow

activation-function