封闭形式的解决方案是否总是过度拟合？
Will closed form solution be always overfitting?
因为我们对某些机器学习问题（例如线性回归）有封闭形式的解决方案。它们具有更高的 O(D^3) 复杂度（D 是从输入派生的特征数），但是使用封闭形式派生的解决方案是否总是会过拟合？
- 我知道封闭形式的解决方案需要更长的计算能力，这对于大量特征可能不可行。
- 我也了解梯度下降、随机梯度下降等。生成足够接近且复杂度较低的解决方案。
只是想了解，使用封闭形式的解决方案是否有任何好处？
是：简而言之，您已找到该数据集的最佳解决方案。根据定义，总体 样本 的 closed-form 解将是该样本的 over-fitted。但是请注意，如果样本是 整个 总体，则您的解决方案必然是最优的。
各种 "sneak up on it" 解决方案（例如梯度下降）专门设计用于通过启发式方法在您指定的任意小误差范围内找到 相同 解决方案。这是数值分析的灵魂。 :-)
对于大多数用途，只有当您需要准确的精确解以进行进一步的理论推导时，closed-form 解才有用。在某些情况下，它的预测速度也更快（仅 forward-pass），因为它的权重要少得多。但是，预测通常受限于 I/O 速度，而不是模型复杂性。
这在一般情况下是不正确的，但在某些情况下实际上是正确的。
假设您有数百万个观察值和数千个特征，并且您将线性回归拟合到设计矩阵的第一主成分。这是封闭形式没有过拟合的第一种情况：N 远大于 P
或者，岭回归有一个封闭形式的解决方案。它R，就是solve(crossprod(X) + lambda * diag(rep(1, nrow(x))) %*% t(X) %*% y。交叉验证 select 最优 lambda 通常比梯度下降更快。这是第二种情况：闭式解涉及一个超参数。广义加性模型也有点像这样。
因为我们对某些机器学习问题（例如线性回归）有封闭形式的解决方案。它们具有更高的 O(D^3) 复杂度（D 是从输入派生的特征数），但是使用封闭形式派生的解决方案是否总是会过拟合？
- 我知道封闭形式的解决方案需要更长的计算能力，这对于大量特征可能不可行。
- 我也了解梯度下降、随机梯度下降等。生成足够接近且复杂度较低的解决方案。
只是想了解，使用封闭形式的解决方案是否有任何好处？
是：简而言之，您已找到该数据集的最佳解决方案。根据定义，总体 样本 的 closed-form 解将是该样本的 over-fitted。但是请注意，如果样本是 整个 总体，则您的解决方案必然是最优的。
各种 "sneak up on it" 解决方案（例如梯度下降）专门设计用于通过启发式方法在您指定的任意小误差范围内找到 相同 解决方案。这是数值分析的灵魂。 :-)
对于大多数用途，只有当您需要准确的精确解以进行进一步的理论推导时，closed-form 解才有用。在某些情况下，它的预测速度也更快（仅 forward-pass），因为它的权重要少得多。但是，预测通常受限于 I/O 速度，而不是模型复杂性。
这在一般情况下是不正确的，但在某些情况下实际上是正确的。
假设您有数百万个观察值和数千个特征，并且您将线性回归拟合到设计矩阵的第一主成分。这是封闭形式没有过拟合的第一种情况：N 远大于 P
或者，岭回归有一个封闭形式的解决方案。它R，就是solve(crossprod(X) + lambda * diag(rep(1, nrow(x))) %*% t(X) %*% y。交叉验证 select 最优 lambda 通常比梯度下降更快。这是第二种情况：闭式解涉及一个超参数。广义加性模型也有点像这样。