什么是神经网络中的前向和后向传递?
What are forward and backward passes in neural networks?
神经网络中的正向传递和反向传递是什么意思?
每个人在谈论反向传播和时代时都会提到这些表达方式。
我明白了forward pass和backward pass一起构成了一个epoch。
“forward pass”指的是从输入数据计算输出层的值的过程。它从第一层到最后一层遍历所有神经元。
根据输出值计算损失函数。
然后“backward pass”指的是计算权值变化的过程(事实上学习),使用梯度下降算法(或类似)。从最后一层开始计算,倒退到第一层。
后向和前向传递一起进行一次“迭代”。
在一次迭代中,您通常会传递数据集的一个子集,称为 "mini-batch" 或 "batch"(但是,“batch”也可以表示整个集合,因此前缀为“mini”)
"Epoch"表示批量传递整个数据集。
一个epoch包含(number_of_items / batch_size) 次迭代
神经网络中的正向传递和反向传递是什么意思?
每个人在谈论反向传播和时代时都会提到这些表达方式。
我明白了forward pass和backward pass一起构成了一个epoch。
“forward pass”指的是从输入数据计算输出层的值的过程。它从第一层到最后一层遍历所有神经元。
根据输出值计算损失函数。
然后“backward pass”指的是计算权值变化的过程(事实上学习),使用梯度下降算法(或类似)。从最后一层开始计算,倒退到第一层。
后向和前向传递一起进行一次“迭代”。
在一次迭代中,您通常会传递数据集的一个子集,称为 "mini-batch" 或 "batch"(但是,“batch”也可以表示整个集合,因此前缀为“mini”)
"Epoch"表示批量传递整个数据集。
一个epoch包含(number_of_items / batch_size) 次迭代