信息增益测量显示什么？

Question

我正忙于使用 r 中的 fSelector 包来使用 information.gain 函数测量信息增益。

我不确定输出会给我什么，因为有缺点，我理解 iris 数据集上的输出。

weights <- information.gain(cross_over ~ age + max_stake_scale + current_loyalty_status + lifespan + early_hours + morning + afternoon + evening, df

输出为：

attr_importance
age                           0.000000e+00
max_stake_scale               0.000000e+00
current_loyalty_status        2.968854e-04
lifespan                      1.523364e-02
early_hours                   0.000000e+00
morning                       0.000000e+00
afternoon                     0.000000e+00
evening                       0.000000e+00

响应变量是二元的，交叉与否，是与否。我不确定重要的功能是什么。

谢谢

Answer 1

信息增益告诉您通过了解特定特征的价值您获得了多少信息。在二进制 class化问题的情况下，您需要 1 位信息来进行 class化（因为有两种可能的结果）；即特定特征的最大信息增益为 1.

在您的情况下，几乎所有特征的信息增益都是 0，这意味着了解它们的值根本无助于决定 class 数据具有哪些特征。非零值表示最重要的（尽管仍然没有提供信息）特征——lifespan 和 current_loyalty_status。减号只是指数符号的一部分，即 2.968854e-04 表示 2.968854 * 10^-4 或 0.0002968854.

信息增益测量显示什么？

What does the information gain measure show?

r

machine-learning

data-mining

data-modeling