本文档中的softmax_w和softmax_b是什么?
What is the softmax_w and softmax_b in this document?
我是 TensorFlow 的新手,需要训练语言模型,但 运行 在阅读 document 时遇到了一些困难,如下所示。
lstm = rnn_cell.BasicLSTMCell(lstm_size)
# Initial state of the LSTM memory.
state = tf.zeros([batch_size, lstm.state_size])
loss = 0.0
for current_batch_of_words in words_in_dataset:
# The value of state is updated after processing each batch of words.
output, state = lstm(current_batch_of_words, state)
# The LSTM output can be used to make next word predictions
logits = tf.matmul(output, softmax_w) + softmax_b
probabilities = tf.nn.softmax(logits)
loss += loss_function(probabilities, target_words)
我不明白为什么需要这一行,
logits = tf.matmul(output, softmax_w) + softmax_b
因为我了解到一旦计算出输出并且知道 target_words 我们就可以直接计算出损失。伪代码似乎增加了一个额外的层。另外,没有提到的softmax_w和softmax_b是什么。这么简单的问题,我想我可能漏掉了一些重要的东西。
请指出正确的方向,非常感谢任何建议。非常感谢。
代码所做的只是在计算 softmax 之前添加一个额外的线性变换。 softmax_w
应该是包含权重矩阵的 tf.Variable
。 softmax_b
应该是包含偏差向量的 tf.Variable
。
查看本教程中的 softmax 示例以了解更多详细信息:
https://www.tensorflow.org/versions/r0.10/tutorials/mnist/beginners/index.html#softmax-regressions
我是 TensorFlow 的新手,需要训练语言模型,但 运行 在阅读 document 时遇到了一些困难,如下所示。
lstm = rnn_cell.BasicLSTMCell(lstm_size)
# Initial state of the LSTM memory.
state = tf.zeros([batch_size, lstm.state_size])
loss = 0.0
for current_batch_of_words in words_in_dataset:
# The value of state is updated after processing each batch of words.
output, state = lstm(current_batch_of_words, state)
# The LSTM output can be used to make next word predictions
logits = tf.matmul(output, softmax_w) + softmax_b
probabilities = tf.nn.softmax(logits)
loss += loss_function(probabilities, target_words)
我不明白为什么需要这一行,
logits = tf.matmul(output, softmax_w) + softmax_b
因为我了解到一旦计算出输出并且知道 target_words 我们就可以直接计算出损失。伪代码似乎增加了一个额外的层。另外,没有提到的softmax_w和softmax_b是什么。这么简单的问题,我想我可能漏掉了一些重要的东西。
请指出正确的方向,非常感谢任何建议。非常感谢。
代码所做的只是在计算 softmax 之前添加一个额外的线性变换。 softmax_w
应该是包含权重矩阵的 tf.Variable
。 softmax_b
应该是包含偏差向量的 tf.Variable
。
查看本教程中的 softmax 示例以了解更多详细信息: https://www.tensorflow.org/versions/r0.10/tutorials/mnist/beginners/index.html#softmax-regressions