测试 ANN 反向传播实现
Testing ANN backpropagation implementation
使用反向传播组装人工神经网络时，
算法复杂，测试没有稳定的参考点
调试已实现算法正确性的最佳方法是什么？
我不是在谈论 train/validation/test 阶段，我想要某种衡量标准，或者也许是逐步训练 results/weight 值来检查内部运作网络，对于给定的配置和训练数据。
我认为可能有帮助的是：
- 使用具有自动微分框架（如
Theano 或 Tensor Flow）的模块并定义一个与您的配置相同的网络 - 并使用其内部微分框架检查结果。
- 使用 numerical gradient 计算。
- 自行计算适当的梯度并比较结果。
使用反向传播组装人工神经网络时， 算法复杂，测试没有稳定的参考点
调试已实现算法正确性的最佳方法是什么？
我不是在谈论 train/validation/test 阶段，我想要某种衡量标准，或者也许是逐步训练 results/weight 值来检查内部运作网络，对于给定的配置和训练数据。
我认为可能有帮助的是：
- 使用具有自动微分框架（如
Theano或Tensor Flow）的模块并定义一个与您的配置相同的网络 - 并使用其内部微分框架检查结果。 - 使用 numerical gradient 计算。
- 自行计算适当的梯度并比较结果。