sklearn MDS 使我的内核崩溃?

sklearn MDS crashes my kernel?

我有一个包含连续数据的 50,000 x 15 numpy 矩阵。我想使用 MDS(多维缩放)缩小到 2 个分量,以便在二维向量 space 中可视化数据。出于某种原因,每当我访问数据的 运行 MDS 时,我的内存和 CPU % 都会大幅增加,并且我的内核崩溃,告诉我需要重新启动。 有人 运行 遇到过类似问题或知道是什么原因造成的吗?

我使用的是 MacBook Air,125GB SSD,4GB RAM,我的开发环境是 Spyder IDE。

谢谢

我推荐 运行ning MDS,随机样本为 5%。 查看 scikit 文档,似乎 Manifold 学习模块中的大多数算法都具有 O(n^2) 的复杂性。没有针对 MDS 的具体文档,但比较 运行 次我只能假设 MDS 是 n^2 或更糟。数据太多,算法效率低下,RAM 小 = 内核崩溃

http://scikit-learn.org/stable/modules/manifold.html#manifold

我们目前的MDS实现是基于smacof方法,太笼统了。在许多情况下,PCA / SVD 可能要快得多。这是planned as a pull request.

同时你可以直接使用sklearn.decomposition.RandomizedPCA代替MDSclass.