互信息和预测精度
mutual information and prediction accuracy
互信息与预测分类准确性或回归 MSE 之间的关系是什么？在数据挖掘中是否可能具有高 accuracy/low MSE 和低互信息？
互信息是为概率分布对定义的。关于它与其他量的关系，可以说的很多内容在很大程度上取决于您如何计算和表示这些概率分布（例如，离散概率分布与连续概率分布）。
给定一组概率分布，分类准确率与互信息之间的关系为studied in the literature。简而言之，一个量限制了另一个量，至少对于离散概率分布而言是这样。
我不知道有任何正式研究关注 MSE 和互信息之间的关系。
综上所述，如果我有一个具体的数据集并且两个变量的互信息分数很低，而且在回归模型中的 MSE 也很低，我会仔细研究互信息是如何产生的计算。 100 次中有 99 次发生这种情况是因为香农熵的原始公式（以及扩展互信息）用于连续/浮点数据，即使这种方法仅适用于离散数据。
互信息与预测分类准确性或回归 MSE 之间的关系是什么？在数据挖掘中是否可能具有高 accuracy/low MSE 和低互信息？
互信息是为概率分布对定义的。关于它与其他量的关系，可以说的很多内容在很大程度上取决于您如何计算和表示这些概率分布（例如，离散概率分布与连续概率分布）。
给定一组概率分布，分类准确率与互信息之间的关系为studied in the literature。简而言之，一个量限制了另一个量，至少对于离散概率分布而言是这样。
我不知道有任何正式研究关注 MSE 和互信息之间的关系。
综上所述，如果我有一个具体的数据集并且两个变量的互信息分数很低，而且在回归模型中的 MSE 也很低，我会仔细研究互信息是如何产生的计算。 100 次中有 99 次发生这种情况是因为香农熵的原始公式（以及扩展互信息）用于连续/浮点数据，即使这种方法仅适用于离散数据。