PCA , TruncatedSVD 和 ICA 之间的详细区别是什么?
What is difference between PCA , TruncatedSVD and ICA in details?
谁能详细告诉我PCA(主成分分析)、TruncatedSVD(截断奇异值分解)和ICA(独立成分分析)的区别?
做的详细需要长页的PDF文档:-).
但思路很简单:
- 主成分分析 (PCA) - 分析数据原生坐标。即沿数据具有最大能量(方差)的坐标。对于 n 个维度为 d 的样本,将有 $ d $ 个正交方向。即投射在他们身上的数据没有相关性。如果我们将数据视为随机变量,则意味着我们找到了一个坐标系,其中投影数据中任何对的互相关(第一矩)都消失了。
这是一种通过保留大部分能量来逼近低维数据的非常有效的方法。
- 截断 SVD - 可以证明计算这些坐标系的方法之一是使用 SVD。因此,这是应用 PCA 背后思想的方法。
- 独立成分分析 (ICA) - 这比 PCA 更进一步。在 PCA 中,我们只处理 ICA 中数据的一阶矩(相关性),我们正在研究更高的矩,并试图找到一个数据投影,使更高的矩消失(想想缺乏相关性与概率独立性)。
谁能详细告诉我PCA(主成分分析)、TruncatedSVD(截断奇异值分解)和ICA(独立成分分析)的区别?
做的详细需要长页的PDF文档:-).
但思路很简单:
- 主成分分析 (PCA) - 分析数据原生坐标。即沿数据具有最大能量(方差)的坐标。对于 n 个维度为 d 的样本,将有 $ d $ 个正交方向。即投射在他们身上的数据没有相关性。如果我们将数据视为随机变量,则意味着我们找到了一个坐标系,其中投影数据中任何对的互相关(第一矩)都消失了。
这是一种通过保留大部分能量来逼近低维数据的非常有效的方法。 - 截断 SVD - 可以证明计算这些坐标系的方法之一是使用 SVD。因此,这是应用 PCA 背后思想的方法。
- 独立成分分析 (ICA) - 这比 PCA 更进一步。在 PCA 中,我们只处理 ICA 中数据的一阶矩(相关性),我们正在研究更高的矩,并试图找到一个数据投影,使更高的矩消失(想想缺乏相关性与概率独立性)。