切点处的解是最优解吗？
Is the solution at tangent point an optimal solution?
根据我在this文章中的理解，蓝色圆圈是水平曲线，蓝色圆点是最小化成本函数的最优解。黄色圆圈是L2范数约束。
我们需要的解决方案是尽可能使成本函数最小化，同时又在圆内。也就是说，解就是黄色圆圈与水平曲线的切点。
但是，我的问题是，如果切点处的 W 值没有完全最小化成本函数，这怎么可能是解决方案？只有蓝点是最小化成本函数的点。
如果没有约束，蓝点会最小化成本函数。
如果最小化受 L2 范数约束，则蓝点不能是解 ，因为它违反了约束。因此，点 w* 是解决方案。
使用 L2 约束的原因是我们试图最小化测试数据的误差，而不是训练数据的误差（即我们对最小化损失函数不直接感兴趣）。更简单的解决方案（具有更小的 L2 范数）倾向于更少的过度拟合，因此我们期望测试和训练误差之间的差距更小（这是可取的）。
根据我在this文章中的理解，蓝色圆圈是水平曲线，蓝色圆点是最小化成本函数的最优解。黄色圆圈是L2范数约束。
我们需要的解决方案是尽可能使成本函数最小化，同时又在圆内。也就是说，解就是黄色圆圈与水平曲线的切点。
但是，我的问题是，如果切点处的 W 值没有完全最小化成本函数，这怎么可能是解决方案？只有蓝点是最小化成本函数的点。
如果没有约束，蓝点会最小化成本函数。 如果最小化受 L2 范数约束，则蓝点不能是解 ，因为它违反了约束。因此，点 w* 是解决方案。
使用 L2 约束的原因是我们试图最小化测试数据的误差，而不是训练数据的误差（即我们对最小化损失函数不直接感兴趣）。更简单的解决方案（具有更小的 L2 范数）倾向于更少的过度拟合，因此我们期望测试和训练误差之间的差距更小（这是可取的）。