完成机器学习中的正方形
completing the square in machine learning
我有一个关于在多变量分析中完成平方的问题，我无法解决它。
提示使工作变得更加困难，否则只是机械工作扩展产品，替换$\hat w$的定义并比较术语。
我很难识别正确的替换，不过很好锻炼。
重要的是要注意提示上有一个类型，第一个术语必须是小写的 $x$，而不是 $X$。
解决方案
证明 $||X' W - y||^2 = (w - \hat w)X' X (w - \hat w) + ||X' \hat w - y||^ 2$
哪里
$\hat w = (X' X)^{-1} X y$
提示：
$x^T M x - 2b'x = (x - M^{-1}b)'M(x - M^{-1}b) - b'M^{-1}b$
对于任何向量 $x$ 和 $b$，以及对称矩阵 $M$
将范数表示为矩阵乘积 $||z||^2 = z'z$
$(X' w - y)'(X' W - y) = (w - \hat w)X' X (w - \hat w) + (X' \hat w - y)' (X' \hat w - y)$
从范数展开乘积并减去 $y'y$
$$wX'Xw - w'Xy - y'X'w = (w - \hat w)X' X (w - \hat w) + \hat w X'X\hat w - \hat w'Xy - y'X'\hat w$$
维度 $1 \times 1$ 的项是平凡对称的 $w'Xy = y'Xw$，并且 $\hat w' X y = y' X \hat w$
$$wX'Xw - 2w'Xy = (w - \hat w)X' X (w - \hat w) + \hat w X'X\hat w - 2 \hat w' xy$$
然后我们必须识别（可能需要数小时）$b = Xy$、$x=w$ 和 $M = (X'X)$，因此 $\hat w = M^{- 1} b$
因此
$$ x M x - 2(x - M^1b)b = (x - M^{-1}b)M(x - M^{-1}b) + b'M^{-1}MM^ {-1}b - 2 b' M^{-1} b $$
化简乘积$M^{-1}MM^{-1}$，然后对项$b'M^{-1} b$进行分组，
最初 $\hat{w} X' X \hat w - 2\hat w' X y$ 我们转换为提示公式
$$ x M x - 2(x - M^1b)b = (x - M^{-1}b)M(x - M^{-1}b) - b'M^{ -1}MM^{-1}b$$
我有一个关于在多变量分析中完成平方的问题，我无法解决它。
提示使工作变得更加困难，否则只是机械工作扩展产品，替换$\hat w$的定义并比较术语。
我很难识别正确的替换，不过很好锻炼。
重要的是要注意提示上有一个类型，第一个术语必须是小写的 $x$，而不是 $X$。
解决方案
证明 $||X' W - y||^2 = (w - \hat w)X' X (w - \hat w) + ||X' \hat w - y||^ 2$
哪里
$\hat w = (X' X)^{-1} X y$
提示：
$x^T M x - 2b'x = (x - M^{-1}b)'M(x - M^{-1}b) - b'M^{-1}b$ 对于任何向量 $x$ 和 $b$，以及对称矩阵 $M$ 将范数表示为矩阵乘积 $||z||^2 = z'z$
$(X' w - y)'(X' W - y) = (w - \hat w)X' X (w - \hat w) + (X' \hat w - y)' (X' \hat w - y)$
从范数展开乘积并减去 $y'y$
$$wX'Xw - w'Xy - y'X'w = (w - \hat w)X' X (w - \hat w) + \hat w X'X\hat w - \hat w'Xy - y'X'\hat w$$
维度 $1 \times 1$ 的项是平凡对称的 $w'Xy = y'Xw$，并且 $\hat w' X y = y' X \hat w$
$$wX'Xw - 2w'Xy = (w - \hat w)X' X (w - \hat w) + \hat w X'X\hat w - 2 \hat w' xy$$
然后我们必须识别（可能需要数小时）$b = Xy$、$x=w$ 和 $M = (X'X)$，因此 $\hat w = M^{- 1} b$
因此 $$ x M x - 2(x - M^1b)b = (x - M^{-1}b)M(x - M^{-1}b) + b'M^{-1}MM^ {-1}b - 2 b' M^{-1} b $$
化简乘积$M^{-1}MM^{-1}$，然后对项$b'M^{-1} b$进行分组， 最初 $\hat{w} X' X \hat w - 2\hat w' X y$ 我们转换为提示公式
$$ x M x - 2(x - M^1b)b = (x - M^{-1}b)M(x - M^{-1}b) - b'M^{ -1}MM^{-1}b$$