通过相关矩阵进行特征选择
Feature selection via correlation matrix
在测试逻辑回归、高斯朴素贝叶斯、随机森林和多层感知器等不同算法时，我通过简单地减去均值并除以标准差来对原始数据进行归一化。并非所有人都需要这样做，但我只是想保持一致。但是特征的相关矩阵在归一化前后发生了变化。在决定 select 哪些特征以避免输入数据冗余时，应该考虑两个相关矩阵还是仅考虑归一化后的一个，因为这是直接馈送到机器学习方法的数据？
我认为相关矩阵在 "proper" 归一化后应该保持不变。
演示：
In [107]: df = pd.DataFrame(np.random.rand(6,6)) * 100
让我们在 归一化
之前保存 Pearson 相关矩阵
In [108]: corr1 = df.corr()
标准化使用 sklearn.preprocessing.StandardScaler:
In [109]: from sklearn.preprocessing import StandardScaler
In [110]: scale = StandardScaler()
In [111]: r = scale.fit_transform(df)
保存 Pearson 相关矩阵在归一化后
In [112]: corr2 = pd.DataFrame(r).corr()
比较保存的相关矩阵：
In [114]: np.allclose(corr1, corr2)
Out[114]: True
在测试逻辑回归、高斯朴素贝叶斯、随机森林和多层感知器等不同算法时，我通过简单地减去均值并除以标准差来对原始数据进行归一化。并非所有人都需要这样做，但我只是想保持一致。但是特征的相关矩阵在归一化前后发生了变化。在决定 select 哪些特征以避免输入数据冗余时，应该考虑两个相关矩阵还是仅考虑归一化后的一个，因为这是直接馈送到机器学习方法的数据？
我认为相关矩阵在 "proper" 归一化后应该保持不变。
演示：
In [107]: df = pd.DataFrame(np.random.rand(6,6)) * 100
让我们在 归一化
之前保存 Pearson 相关矩阵In [108]: corr1 = df.corr()
标准化使用 sklearn.preprocessing.StandardScaler:
In [109]: from sklearn.preprocessing import StandardScaler
In [110]: scale = StandardScaler()
In [111]: r = scale.fit_transform(df)
保存 Pearson 相关矩阵在归一化后
In [112]: corr2 = pd.DataFrame(r).corr()
比较保存的相关矩阵：
In [114]: np.allclose(corr1, corr2)
Out[114]: True