如何计算 MxN 相关矩阵

Question

我有一个 CSV 文件，其中包含一些推文和两组特征（A 和 B），如下所示：

TWEET, A1, A2, B1, B2, B3
tweet text, 0.23, 0.54, 120, 60, 39
tweet text, 0.33, 0.7, 70, 20, 36
tweet text, 0.8, 0.41, 68, 52, 29

如您所见，它们具有不同的长度（A 特征为 2 列，B 特征为 3 列）。我想比较他们之间的关系（或依赖关系）。我的目标是识别相关特征以删除一些特征并减少特征维度。一种可能的解决方案是使用 correlation matrix，它可以通过 DataFrame.corr 访问。但是这个矩阵只接受相同大小的数组。问题是如何计算不同长度特征的 correlation matrix，如上例中的 A 和 B？关联之后，我可以说，例如，特征 A1 和 B2 足够了，我们可以去除其他特征；因为他们完全依赖于A1和B2。

欢迎提出任何其他建议。

Answer 1

相关性不必是 MxN。您所做的只是检查 N 列之间的相关性，因此它将成为 NxN 矩阵。从N*N中你可以考虑你喜欢的，忽略其他的。

import seaborn as sns
import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO('''TWEET, A1, A2, B1, B2, B3
tweet text, 0.23, 0.54, 120, 60, 39
tweet text, 0.33, 0.7, 70, 20, 36
tweet text, 0.8, 0.41, 68, 52, 29
'''),sep=',')
print(df.corr()) # Pandas correlation matrix
sns.heatmap(df.corr(),annot = True)

输出：

    A1              A2          B1         B2          B3
A1  1.000000    -0.732859   -0.661319   0.167649    -0.991352
A2  -0.732859   1.000000    -0.025703   -0.793614   0.637235
B1  -0.661319   -0.025703   1.000000    0.628619    0.754036
B2  0.167649    -0.793614   0.628619    1.000000    -0.036827
B3  -0.991352   0.637235    0.754036    -0.036827   1.000000

如何计算 MxN 相关矩阵

How to compute MxN correlation matrix

python

correlation

dataframe

cross-correlation

pearson-correlation