从神经网络的不同成本函数和激活函数中进行选择
Choosing from different cost function and activation function of a neural network
最近开始玩神经网络。我试图用 Tensorflow 实现一个 AND 门。我无法理解何时使用不同的成本和激活函数。这是一个只有输入和输出层，没有隐藏层的基本神经网络。
首先我尝试通过这种方式实现它。如您所见，这是一个糟糕的实现，但我认为它完成了工作，至少在某种程度上是这样。所以，我只尝试了真正的输出，没有一个热真正的输出。对于激活函数，我使用了 sigmoid 函数，而对于成本函数，我使用了平方误差成本函数（我认为它就是这样称呼的，如果我错了请纠正我）。
我试过使用 ReLU 和 Softmax 作为激活函数（具有相同的成本函数）但它不起作用。我想通了为什么他们不工作。我也试过sigmoid函数和Cross Entropy cost function，还是不行。
import tensorflow as tf
import numpy
train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[0],[0],[0],[1]])
x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 1])
W = tf.Variable(tf.zeros([2, 1]))
b = tf.Variable(tf.zeros([1, 1]))
activation = tf.nn.sigmoid(tf.matmul(x, W)+b)
cost = tf.reduce_sum(tf.square(activation - y))/4
optimizer = tf.train.GradientDescentOptimizer(.1).minimize(cost)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(5000):
train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})
result = sess.run(activation, feed_dict={x:train_X})
print(result)
5000 次迭代后：
[[ 0.0031316 ]
[ 0.12012422]
[ 0.12012422]
[ 0.85576665]]
问题 1 - 是否有任何其他激活函数和成本函数可以在不改变参数（意思是不改变 W、x）的情况下对上述网络起作用（学习） ，二）。
问题 2 - 我从 Whosebug 上读到 post here:
[Activation Function] selection depends on the problem.
所以没有可以在任何地方使用的成本函数？我的意思是没有 standard 成本函数可以用在任何神经网络上。正确的？请纠正我这一点。
我还用不同的方法实现了 AND 门，输出为 one-hot true。如您所见，train_Y [1,0] 表示第 0 个索引为 1，因此答案为 0。希望您能理解。
这里我使用了softmax激活函数，交叉熵作为成本函数。 Sigmoid 函数作为激活函数失败得很惨。
import tensorflow as tf
import numpy
train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[1,0],[1,0],[1,0],[0,1]])
x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 2])
W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))
activation = tf.nn.softmax(tf.matmul(x, W)+b)
cost = -tf.reduce_sum(y*tf.log(activation))
optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cost)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(5000):
train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})
result = sess.run(activation, feed_dict={x:train_X})
print(result)
5000次迭代后
[[ 1.00000000e+00 1.41971401e-09]
[ 9.98996437e-01 1.00352429e-03]
[ 9.98996437e-01 1.00352429e-03]
[ 1.40495342e-03 9.98595059e-01]]
问题3那么在这种情况下我可以使用什么代价函数和激活函数呢？我如何理解应该使用哪种类型的成本和激活函数？有没有标准的方法或规则，或者只是经验？我是否必须以蛮力方式尝试每个成本和激活函数？我找到了答案 here。但我希望得到更详尽的解释。
问题 4 我注意到需要多次迭代才能收敛到接近准确的预测。我认为收敛率取决于学习率（使用太大会错过解决方案）和成本函数（如果我错了请纠正我）。那么，是否有任何最佳方式（即最快）或成本函数可以收敛到正确的解决方案？
我会稍微不按顺序回答您的问题，从更笼统的答案开始，然后以针对您的特定实验的特定答案结束。
激活函数不同的激活函数，其实有不同的性质。让我们首先考虑神经网络两层之间的激活函数。激活函数的唯一目的是充当非线性。如果你不在两层之间放置激活函数，那么两层在一起的效果不会比一层好，因为它们的效果仍然只是线性变换。很长一段时间以来，人们都在使用 sigmoid 函数和 tanh，几乎是任意选择，其中 sigmoid 更受欢迎，直到最近，ReLU 成为主要的非线性函数。人们在层与层之间使用 ReLU 的原因是因为它是非饱和的（而且计算速度更快）。想一想 sigmoid 函数的图形。如果 x 的绝对值很大，则 sigmoid 函数的导数很小，这意味着当我们向后传播误差时，误差的梯度会随着我们返回层数而很快消失。使用 ReLU，对于所有正输入，导数是 1，因此那些激活的神经元的梯度根本不会被激活单元改变，也不会减慢梯度下降。
对于网络的最后一层，激活单元也取决于任务。对于回归，您将希望使用 sigmoid 或 tanh 激活，因为您希望结果介于 0 和 1 之间。对于分类，您将只希望输出之一为 1，而所有其他输出为零，但没有可微分的方法来实现正是这样，所以你会想要使用 softmax 来近似它。
你的例子。现在让我们看看你的例子。您的第一个示例尝试以下列形式计算 AND 的输出：
sigmoid(W1 * x1 + W2 * x2 + B)
注意 W1 和 W2 总是会收敛到相同的值，因为 (x1, x2) 的输出应该等于（x2、x1）。因此，您正在拟合的模型是：
sigmoid(W * (x1 + x2) + B)
x1 + x2 只能取三个值（0、1 或 2）之一，您希望 return 0 用于 x1 + x2 < 2 和 1 的情况x1 + x2 = 2 时的情况。由于 sigmoid 函数相当平滑，因此需要非常大的 W 和 B 值才能使输出接近所需值，但由于学习率很小，它们无法达到那些大值值快。在你的第一个例子中增加学习率将增加收敛速度。
你的第二个例子收敛得更好，因为 softmax 函数擅长使一个输出恰好等于 1 而所有其他输出等于 0。由于这正是您的情况，因此它确实会很快收敛。请注意，sigmoid 最终也会收敛到良好的值，但它需要更多的迭代（或更高的学习率）。
用什么。现在是最后一个问题，如何选择要使用的激活函数和成本函数。这些建议适用于大多数情况：
如果做分类，最后一层的非线性用softmax，成本函数用cross entropy
如果做回归，最后一层的非线性使用sigmoid或tanh，代价函数squared error
使用ReLU作为层间非线性。
使用更好的优化器（AdamOptimizer、AdagradOptimizer）而不是GradientDescentOptimizer，或者使用动量来加快收敛，
成本函数和激活函数在神经网络的学习阶段起着重要作用。
如第一个答案中所述，激活函数使网络有可能学习 non-linear 函数，此外还能确保输出中的微小变化以响应输入中的微小变化。 sigmoid 激活函数 函数适用于这些假设。其他激活函数的作用相同，但计算成本可能较低，请参阅 activation functions for completeness. But, in general Sigmoid activation function should be avoid because the vanishing gradient problem。
成本函数C对神经网络的学习速度起着至关重要的作用。 Gradient-based 神经网络通过最小化成本函数以迭代方式学习，因此计算成本函数的梯度，并根据它改变权重。如果使用二次代价函数，这意味着它的权重梯度与激活函数的一阶导数成正比。现在，如果使用 sigmoid 激活函数，这意味着当输出接近 1 时，导数非常小，正如您从图像中看到的那样，因此神经元学习缓慢。
cross-entropy成本函数可以避免这个问题。即使您使用的是 sigmoid 函数，使用 cross-entropy 函数作为成本函数，也意味着它关于权重的导数与激活函数的一阶导数并不成比例，就像二次函数所发生的那样，但它们与输出误差成正比。这意味着当预测输出远离目标时，您的网络学习得更快，反之亦然。
Cross-entropy 对于分类问题，应该始终使用成本函数而不是使用二次成本函数，对于上面的解释。
请注意，在神经网络中，cross-entropy函数并不总是与您在概率中遇到的cross-entropy函数具有相同的含义，它用于比较两个概率分布。在神经网络中，如果你有一个独特的 sigmoid 输出到最后一层并且想将其视为概率分布，这可能是正确的。但是如果你在最后一层有 multi-sigmoid 个神经元，这就失去了意义。
最近开始玩神经网络。我试图用 Tensorflow 实现一个 AND 门。我无法理解何时使用不同的成本和激活函数。这是一个只有输入和输出层，没有隐藏层的基本神经网络。
首先我尝试通过这种方式实现它。如您所见，这是一个糟糕的实现，但我认为它完成了工作，至少在某种程度上是这样。所以，我只尝试了真正的输出，没有一个热真正的输出。对于激活函数，我使用了 sigmoid 函数，而对于成本函数，我使用了平方误差成本函数（我认为它就是这样称呼的，如果我错了请纠正我）。
我试过使用 ReLU 和 Softmax 作为激活函数（具有相同的成本函数）但它不起作用。我想通了为什么他们不工作。我也试过sigmoid函数和Cross Entropy cost function，还是不行。
import tensorflow as tf
import numpy
train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[0],[0],[0],[1]])
x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 1])
W = tf.Variable(tf.zeros([2, 1]))
b = tf.Variable(tf.zeros([1, 1]))
activation = tf.nn.sigmoid(tf.matmul(x, W)+b)
cost = tf.reduce_sum(tf.square(activation - y))/4
optimizer = tf.train.GradientDescentOptimizer(.1).minimize(cost)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(5000):
train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})
result = sess.run(activation, feed_dict={x:train_X})
print(result)
5000 次迭代后：
[[ 0.0031316 ]
[ 0.12012422]
[ 0.12012422]
[ 0.85576665]]
问题 1 - 是否有任何其他激活函数和成本函数可以在不改变参数（意思是不改变 W、x）的情况下对上述网络起作用（学习） ，二）。
问题 2 - 我从 Whosebug 上读到 post here:
[Activation Function] selection depends on the problem.
所以没有可以在任何地方使用的成本函数？我的意思是没有 standard 成本函数可以用在任何神经网络上。正确的？请纠正我这一点。
我还用不同的方法实现了 AND 门，输出为 one-hot true。如您所见，train_Y [1,0] 表示第 0 个索引为 1，因此答案为 0。希望您能理解。
这里我使用了softmax激活函数，交叉熵作为成本函数。 Sigmoid 函数作为激活函数失败得很惨。
import tensorflow as tf
import numpy
train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[1,0],[1,0],[1,0],[0,1]])
x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 2])
W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))
activation = tf.nn.softmax(tf.matmul(x, W)+b)
cost = -tf.reduce_sum(y*tf.log(activation))
optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cost)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(5000):
train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})
result = sess.run(activation, feed_dict={x:train_X})
print(result)
5000次迭代后
[[ 1.00000000e+00 1.41971401e-09]
[ 9.98996437e-01 1.00352429e-03]
[ 9.98996437e-01 1.00352429e-03]
[ 1.40495342e-03 9.98595059e-01]]
问题3那么在这种情况下我可以使用什么代价函数和激活函数呢？我如何理解应该使用哪种类型的成本和激活函数？有没有标准的方法或规则，或者只是经验？我是否必须以蛮力方式尝试每个成本和激活函数？我找到了答案 here。但我希望得到更详尽的解释。
问题 4 我注意到需要多次迭代才能收敛到接近准确的预测。我认为收敛率取决于学习率（使用太大会错过解决方案）和成本函数（如果我错了请纠正我）。那么，是否有任何最佳方式（即最快）或成本函数可以收敛到正确的解决方案？
我会稍微不按顺序回答您的问题，从更笼统的答案开始，然后以针对您的特定实验的特定答案结束。
激活函数不同的激活函数，其实有不同的性质。让我们首先考虑神经网络两层之间的激活函数。激活函数的唯一目的是充当非线性。如果你不在两层之间放置激活函数，那么两层在一起的效果不会比一层好，因为它们的效果仍然只是线性变换。很长一段时间以来，人们都在使用 sigmoid 函数和 tanh，几乎是任意选择，其中 sigmoid 更受欢迎，直到最近，ReLU 成为主要的非线性函数。人们在层与层之间使用 ReLU 的原因是因为它是非饱和的（而且计算速度更快）。想一想 sigmoid 函数的图形。如果 x 的绝对值很大，则 sigmoid 函数的导数很小，这意味着当我们向后传播误差时，误差的梯度会随着我们返回层数而很快消失。使用 ReLU，对于所有正输入，导数是 1，因此那些激活的神经元的梯度根本不会被激活单元改变，也不会减慢梯度下降。
对于网络的最后一层，激活单元也取决于任务。对于回归，您将希望使用 sigmoid 或 tanh 激活，因为您希望结果介于 0 和 1 之间。对于分类，您将只希望输出之一为 1，而所有其他输出为零，但没有可微分的方法来实现正是这样，所以你会想要使用 softmax 来近似它。
你的例子。现在让我们看看你的例子。您的第一个示例尝试以下列形式计算 AND 的输出：
sigmoid(W1 * x1 + W2 * x2 + B)
注意 W1 和 W2 总是会收敛到相同的值，因为 (x1, x2) 的输出应该等于（x2、x1）。因此，您正在拟合的模型是：
sigmoid(W * (x1 + x2) + B)
x1 + x2 只能取三个值（0、1 或 2）之一，您希望 return 0 用于 x1 + x2 < 2 和 1 的情况x1 + x2 = 2 时的情况。由于 sigmoid 函数相当平滑，因此需要非常大的 W 和 B 值才能使输出接近所需值，但由于学习率很小，它们无法达到那些大值值快。在你的第一个例子中增加学习率将增加收敛速度。
你的第二个例子收敛得更好，因为 softmax 函数擅长使一个输出恰好等于 1 而所有其他输出等于 0。由于这正是您的情况，因此它确实会很快收敛。请注意，sigmoid 最终也会收敛到良好的值，但它需要更多的迭代（或更高的学习率）。
用什么。现在是最后一个问题，如何选择要使用的激活函数和成本函数。这些建议适用于大多数情况：
如果做分类，最后一层的非线性用
softmax，成本函数用cross entropy如果做回归，最后一层的非线性使用
sigmoid或tanh，代价函数squared error使用ReLU作为层间非线性。
使用更好的优化器（
AdamOptimizer、AdagradOptimizer）而不是GradientDescentOptimizer，或者使用动量来加快收敛，
成本函数和激活函数在神经网络的学习阶段起着重要作用。
如第一个答案中所述，激活函数使网络有可能学习 non-linear 函数，此外还能确保输出中的微小变化以响应输入中的微小变化。 sigmoid 激活函数 函数适用于这些假设。其他激活函数的作用相同，但计算成本可能较低，请参阅 activation functions for completeness. But, in general Sigmoid activation function should be avoid because the vanishing gradient problem。
成本函数C对神经网络的学习速度起着至关重要的作用。 Gradient-based 神经网络通过最小化成本函数以迭代方式学习，因此计算成本函数的梯度，并根据它改变权重。如果使用二次代价函数，这意味着它的权重梯度与激活函数的一阶导数成正比。现在，如果使用 sigmoid 激活函数，这意味着当输出接近 1 时，导数非常小，正如您从图像中看到的那样，因此神经元学习缓慢。
cross-entropy成本函数可以避免这个问题。即使您使用的是 sigmoid 函数，使用 cross-entropy 函数作为成本函数，也意味着它关于权重的导数与激活函数的一阶导数并不成比例，就像二次函数所发生的那样，但它们与输出误差成正比。这意味着当预测输出远离目标时，您的网络学习得更快，反之亦然。
Cross-entropy 对于分类问题，应该始终使用成本函数而不是使用二次成本函数，对于上面的解释。
请注意，在神经网络中，cross-entropy函数并不总是与您在概率中遇到的cross-entropy函数具有相同的含义，它用于比较两个概率分布。在神经网络中，如果你有一个独特的 sigmoid 输出到最后一层并且想将其视为概率分布，这可能是正确的。但是如果你在最后一层有 multi-sigmoid 个神经元，这就失去了意义。