具有随机梯度下降 (SGD) 更新规则的线性回归
Linear regression with Stochastic Gradient Descent (SGD) update rule
我知道我们在 SGD 中更新权重 w.r.t。到单个训练示例，例如：
for i in range(m):
weights = weights + (alpha * gradient) # for each i in m
然后我们是根据这个单一更新还是在整个 运行 训练集之后计算新的均方误差（我的成本函数）？
基于单次更新。使用单个训练示例估计梯度，然后将其用于更新您的权重。更新后，您可以计算新的损失函数以查看您的优化效果如何。
我知道我们在 SGD 中更新权重 w.r.t。到单个训练示例，例如：
for i in range(m):
weights = weights + (alpha * gradient) # for each i in m
然后我们是根据这个单一更新还是在整个 运行 训练集之后计算新的均方误差（我的成本函数）？
基于单次更新。使用单个训练示例估计梯度，然后将其用于更新您的权重。更新后，您可以计算新的损失函数以查看您的优化效果如何。