xgboost 质量是如何计算的?
How is xgboost quality calculated?
谁能解释一下 xgboost R 包中的 Quality
列是如何在 xgb.model.dt.tree
函数中计算的?
在文档中它说 Quality
“是与此特定节点中的拆分相关的增益”。
当你运行下面的代码时,xgboost 文档中给出了这个函数,树 0 的节点 0 的 Quality
是 4000.53,但我计算 Gain
为 2002.848
data(agaricus.train, package='xgboost')
train <- agarics.train
X = train$data
y = train$label
bst <- xgboost(data = train$data, label = train$label, max.depth = 2,
eta = 1, nthread = 2, nround = 2,objective = "binary:logistic")
xgb.model.dt.tree(agaricus.train$data@Dimnames[[2]], model = bst)
p = rep(0.5,nrow(X))
L = which(X[,'odor=none']==0)
R = which(X[,'odor=none']==1)
pL = p[L]
pR = p[R]
yL = y[L]
yR = y[R]
GL = sum(pL-yL)
GR = sum(pR-yR)
G = sum(p-y)
HL = sum(pL*(1-pL))
HR = sum(pR*(1-pR))
H = sum(p*(1-p))
gain = 0.5 * (GL^2/HL+GR^2/HR-G^2/H)
gain
我了解到 Gain
由以下公式给出:
由于我们使用对数损失,G 是 p-y
的总和,H 是 p(1-p)
的总和 - 本例中的 gamma 和 lambda 均为零。
谁能指出我哪里出错了?
好的,我想我已经解决了。默认情况下,reg_lambda
的值不是文档中给出的 0,但实际上是 1(来自 param.h)
此外,在计算增益时似乎没有应用一半的因子,因此质量列是您预期的两倍。最后,我也不认为 gamma
(也称为 min_split_loss
)也不会应用于此计算(来自 update_hitmaker-inl.hpp)
相反,gamma 用于确定是否调用修剪,但并未反映在增益计算本身中,如文档所示。
如果您应用这些更改,您确实会得到 4000.53 作为树 0 的节点 0 的 Quality
,就像在原始问题中一样。我会将此问题作为问题提交给 xgboost 人员,因此可以相应地更改文档。
谁能解释一下 xgboost R 包中的 Quality
列是如何在 xgb.model.dt.tree
函数中计算的?
在文档中它说 Quality
“是与此特定节点中的拆分相关的增益”。
当你运行下面的代码时,xgboost 文档中给出了这个函数,树 0 的节点 0 的 Quality
是 4000.53,但我计算 Gain
为 2002.848
data(agaricus.train, package='xgboost')
train <- agarics.train
X = train$data
y = train$label
bst <- xgboost(data = train$data, label = train$label, max.depth = 2,
eta = 1, nthread = 2, nround = 2,objective = "binary:logistic")
xgb.model.dt.tree(agaricus.train$data@Dimnames[[2]], model = bst)
p = rep(0.5,nrow(X))
L = which(X[,'odor=none']==0)
R = which(X[,'odor=none']==1)
pL = p[L]
pR = p[R]
yL = y[L]
yR = y[R]
GL = sum(pL-yL)
GR = sum(pR-yR)
G = sum(p-y)
HL = sum(pL*(1-pL))
HR = sum(pR*(1-pR))
H = sum(p*(1-p))
gain = 0.5 * (GL^2/HL+GR^2/HR-G^2/H)
gain
我了解到 Gain
由以下公式给出:
由于我们使用对数损失,G 是 p-y
的总和,H 是 p(1-p)
的总和 - 本例中的 gamma 和 lambda 均为零。
谁能指出我哪里出错了?
好的,我想我已经解决了。默认情况下,reg_lambda
的值不是文档中给出的 0,但实际上是 1(来自 param.h)
此外,在计算增益时似乎没有应用一半的因子,因此质量列是您预期的两倍。最后,我也不认为 gamma
(也称为 min_split_loss
)也不会应用于此计算(来自 update_hitmaker-inl.hpp)
相反,gamma 用于确定是否调用修剪,但并未反映在增益计算本身中,如文档所示。
如果您应用这些更改,您确实会得到 4000.53 作为树 0 的节点 0 的 Quality
,就像在原始问题中一样。我会将此问题作为问题提交给 xgboost 人员,因此可以相应地更改文档。