了解 TensorBoard(权重)直方图
Understanding TensorBoard (weight) histograms
在 TensorBoard 中查看和理解标量值非常简单。然而,如何理解直方图图表并不清楚。
例如,它们是我的网络权重的直方图。
(感谢 sunside 修复了一个错误后)
解释这些的最佳方法是什么? Layer 1 权重看起来基本持平,这是什么意思?
我这里添加了建网代码
X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)
# First layer of weights
with tf.name_scope("layer1"):
W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer1 = tf.matmul(X, W1)
layer1_act = tf.nn.tanh(layer1)
tf.summary.histogram("weights", W1)
tf.summary.histogram("layer", layer1)
tf.summary.histogram("activations", layer1_act)
# Second layer of weights
with tf.name_scope("layer2"):
W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer2 = tf.matmul(layer1_act, W2)
layer2_act = tf.nn.tanh(layer2)
tf.summary.histogram("weights", W2)
tf.summary.histogram("layer", layer2)
tf.summary.histogram("activations", layer2_act)
# Third layer of weights
with tf.name_scope("layer3"):
W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer3 = tf.matmul(layer2_act, W3)
layer3_act = tf.nn.tanh(layer3)
tf.summary.histogram("weights", W3)
tf.summary.histogram("layer", layer3)
tf.summary.histogram("activations", layer3_act)
# Fourth layer of weights
with tf.name_scope("layer4"):
W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
initializer=tf.contrib.layers.xavier_initializer())
Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
tf.summary.histogram("weights", W4)
tf.summary.histogram("Qpred", Qpred)
# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")
# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)
# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)
看起来网络在第一层到第三层没有学到任何东西。最后一层确实发生了变化,所以这意味着梯度可能有问题(如果你手动篡改它们),你通过只优化它的权重或最后一层来限制学习到最后一层 'eats up' 全部错误。也可能只学到了偏见。虽然网络似乎学到了一些东西,但它可能没有充分发挥其潜力。这里需要更多的上下文,但是尝试学习率(例如使用较小的学习率)可能值得一试。
通常,直方图显示一个值相对于其他值的出现次数。简单地说,如果可能的值在 0..9
的范围内,并且您看到值 0
上出现数量 10
的尖峰,这意味着 10 个输入假定值 0
;相反,如果直方图显示 0..9
的所有值的 1
平稳,则意味着对于 10 个输入,每个可能的值 0..9
恰好 出现 [=50] =]一次。
当您将所有直方图值按其总和归一化时,您还可以使用直方图来可视化概率分布;如果这样做,您将直观地获得某个值(在 x 轴上)出现的可能性(与其他输入相比)。
现在 layer1/weights
,高原意味着:
- 大部分权重都在-0.15到0.15之间
- 权重(大部分)具有这些值中的任何一个的可能性相同,即它们(几乎)均匀分布
换句话说,几乎相同数量的权重具有值 -0.15
、0.0
、0.15
以及介于两者之间的所有值。有些权重的值稍小或稍高。
所以简而言之,这看起来就像是使用均值为零且值范围为 -0.15..0.15
的均匀分布初始化了权重 ... 给予或接受。如果您确实使用统一初始化,那么这是典型的网络尚未训练的情况。
相比之下,layer1/activations
形成类似钟形曲线(高斯)的形状:值以特定值为中心,在本例中为 0
,但它们也可能更大或更小比那个(同样可能,因为它是对称的)。大多数值看起来都接近 0
的平均值,但值的范围确实在 -0.8
到 0.8
之间。
我假设 layer1/activations
被视为一批中所有层输出的分布。您可以看到这些值确实会随时间发生变化。
第 4 层直方图没有告诉我任何具体信息。从形状上看,只是表明-0.1
、0.05
和0.25
附近的一些权重值出现的概率较高; 可能的一个原因是,每个神经元的不同部分实际上接收相同的信息并且基本上是多余的。这可能意味着您实际上可以使用较小的网络,或者您的网络有可能学习更多有区别的特征以防止过度拟合。不过这些只是假设。
此外,正如下面的评论中所述,请添加偏差单位。通过将它们排除在外,您将网络强行限制为可能无效的解决方案。
在这里,我将通过举一个最小的例子来间接说明情节。以下代码在 tensorboard 中生成一个简单的直方图。
from datetime import datetime
import tensorflow as tf
filename = datetime.now().strftime("%Y%m%d-%H%M%S")
fw = tf.summary.create_file_writer(f'logs/fit/{filename}')
with fw.as_default():
for i in range(10):
t = tf.random.uniform((2, 2), 1000)
tf.summary.histogram(
"train/hist",
t,
step=i
)
print(t)
我们看到生成最大范围为 1000 的 2x2 矩阵将产生 0-1000 的值。对于这个张量的外观,我在这里放了其中一些的日志。
tf.Tensor(
[[398.65747 939.9828 ]
[942.4269 59.790222]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[869.5309 980.9699 ]
[149.97845 454.524 ]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[967.5063 100.77594 ]
[ 47.620544 482.77008 ]], shape=(2, 2), dtype=float32)
我们登录 tensorboard 10 次。在图的右侧,生成了一个时间线来指示时间步长。直方图的深度表明哪些值是新的。 lighter/front 值较新,darker/far 值较旧。
值被收集到由那些三角形结构指示的桶中。 x 轴表示束所在的值范围。
在 TensorBoard 中查看和理解标量值非常简单。然而,如何理解直方图图表并不清楚。
例如,它们是我的网络权重的直方图。
(感谢 sunside 修复了一个错误后)
我这里添加了建网代码
X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)
# First layer of weights
with tf.name_scope("layer1"):
W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer1 = tf.matmul(X, W1)
layer1_act = tf.nn.tanh(layer1)
tf.summary.histogram("weights", W1)
tf.summary.histogram("layer", layer1)
tf.summary.histogram("activations", layer1_act)
# Second layer of weights
with tf.name_scope("layer2"):
W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer2 = tf.matmul(layer1_act, W2)
layer2_act = tf.nn.tanh(layer2)
tf.summary.histogram("weights", W2)
tf.summary.histogram("layer", layer2)
tf.summary.histogram("activations", layer2_act)
# Third layer of weights
with tf.name_scope("layer3"):
W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer3 = tf.matmul(layer2_act, W3)
layer3_act = tf.nn.tanh(layer3)
tf.summary.histogram("weights", W3)
tf.summary.histogram("layer", layer3)
tf.summary.histogram("activations", layer3_act)
# Fourth layer of weights
with tf.name_scope("layer4"):
W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
initializer=tf.contrib.layers.xavier_initializer())
Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
tf.summary.histogram("weights", W4)
tf.summary.histogram("Qpred", Qpred)
# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")
# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)
# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)
看起来网络在第一层到第三层没有学到任何东西。最后一层确实发生了变化,所以这意味着梯度可能有问题(如果你手动篡改它们),你通过只优化它的权重或最后一层来限制学习到最后一层 'eats up' 全部错误。也可能只学到了偏见。虽然网络似乎学到了一些东西,但它可能没有充分发挥其潜力。这里需要更多的上下文,但是尝试学习率(例如使用较小的学习率)可能值得一试。
通常,直方图显示一个值相对于其他值的出现次数。简单地说,如果可能的值在 0..9
的范围内,并且您看到值 0
上出现数量 10
的尖峰,这意味着 10 个输入假定值 0
;相反,如果直方图显示 0..9
的所有值的 1
平稳,则意味着对于 10 个输入,每个可能的值 0..9
恰好 出现 [=50] =]一次。
当您将所有直方图值按其总和归一化时,您还可以使用直方图来可视化概率分布;如果这样做,您将直观地获得某个值(在 x 轴上)出现的可能性(与其他输入相比)。
现在 layer1/weights
,高原意味着:
- 大部分权重都在-0.15到0.15之间
- 权重(大部分)具有这些值中的任何一个的可能性相同,即它们(几乎)均匀分布
换句话说,几乎相同数量的权重具有值 -0.15
、0.0
、0.15
以及介于两者之间的所有值。有些权重的值稍小或稍高。
所以简而言之,这看起来就像是使用均值为零且值范围为 -0.15..0.15
的均匀分布初始化了权重 ... 给予或接受。如果您确实使用统一初始化,那么这是典型的网络尚未训练的情况。
相比之下,layer1/activations
形成类似钟形曲线(高斯)的形状:值以特定值为中心,在本例中为 0
,但它们也可能更大或更小比那个(同样可能,因为它是对称的)。大多数值看起来都接近 0
的平均值,但值的范围确实在 -0.8
到 0.8
之间。
我假设 layer1/activations
被视为一批中所有层输出的分布。您可以看到这些值确实会随时间发生变化。
第 4 层直方图没有告诉我任何具体信息。从形状上看,只是表明-0.1
、0.05
和0.25
附近的一些权重值出现的概率较高; 可能的一个原因是,每个神经元的不同部分实际上接收相同的信息并且基本上是多余的。这可能意味着您实际上可以使用较小的网络,或者您的网络有可能学习更多有区别的特征以防止过度拟合。不过这些只是假设。
此外,正如下面的评论中所述,请添加偏差单位。通过将它们排除在外,您将网络强行限制为可能无效的解决方案。
在这里,我将通过举一个最小的例子来间接说明情节。以下代码在 tensorboard 中生成一个简单的直方图。
from datetime import datetime
import tensorflow as tf
filename = datetime.now().strftime("%Y%m%d-%H%M%S")
fw = tf.summary.create_file_writer(f'logs/fit/{filename}')
with fw.as_default():
for i in range(10):
t = tf.random.uniform((2, 2), 1000)
tf.summary.histogram(
"train/hist",
t,
step=i
)
print(t)
我们看到生成最大范围为 1000 的 2x2 矩阵将产生 0-1000 的值。对于这个张量的外观,我在这里放了其中一些的日志。
tf.Tensor(
[[398.65747 939.9828 ]
[942.4269 59.790222]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[869.5309 980.9699 ]
[149.97845 454.524 ]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[967.5063 100.77594 ]
[ 47.620544 482.77008 ]], shape=(2, 2), dtype=float32)
我们登录 tensorboard 10 次。在图的右侧,生成了一个时间线来指示时间步长。直方图的深度表明哪些值是新的。 lighter/front 值较新,darker/far 值较旧。
值被收集到由那些三角形结构指示的桶中。 x 轴表示束所在的值范围。