在递归神经网络的上下文中,'conditioned on something' 的含义是什么?
In the context of recurrent neural networks, what is the meaning of 'conditioned on something'?
在递归神经网络(RNN)中,例如在论文中:Sequence to Sequence Learning with Neural Networks,它说RNN语言模型以Introduction中第3段第7行的输入序列为条件。
那么,RNN中条件反射的概念是什么?
"Conditioning" 在 RNN 中序列到序列学习的上下文中是计算以输入序列为条件获得输出序列的概率的过程,或 p(y|x)
。该网络用于对这种条件概率映射进行建模。
一种加快序列到序列学习训练的技术被称为 teacher forcing,其中相邻时间步长中神经元的隐藏状态是解耦的(见图)。真实标签 y(t-1) 与输入序列元素 x(t-1) 一起用作后续时间步中的神经元。 Teacher forcing 消除了对时间反向传播的需要,并使用更少的计算资源并行训练。不幸的是,一些实证结果表明,与 "vanilla" RNN 相比,采用教师强制的 RNN 对泛化误差的鲁棒性较差。
编辑:该图像还包括条件概率分布,教师强制序列对序列 RNN 近似。
在递归神经网络(RNN)中,例如在论文中:Sequence to Sequence Learning with Neural Networks,它说RNN语言模型以Introduction中第3段第7行的输入序列为条件。
那么,RNN中条件反射的概念是什么?
"Conditioning" 在 RNN 中序列到序列学习的上下文中是计算以输入序列为条件获得输出序列的概率的过程,或 p(y|x)
。该网络用于对这种条件概率映射进行建模。
一种加快序列到序列学习训练的技术被称为 teacher forcing,其中相邻时间步长中神经元的隐藏状态是解耦的(见图)。真实标签 y(t-1) 与输入序列元素 x(t-1) 一起用作后续时间步中的神经元。 Teacher forcing 消除了对时间反向传播的需要,并使用更少的计算资源并行训练。不幸的是,一些实证结果表明,与 "vanilla" RNN 相比,采用教师强制的 RNN 对泛化误差的鲁棒性较差。
编辑:该图像还包括条件概率分布,教师强制序列对序列 RNN 近似。