如何访问 xgboost 中单个决策树的权重？
How to access weighting of indiviual decision trees in xgboost?
我正在使用 xgboost 进行排名
param = {'objective':'rank:pairwise', 'booster':'gbtree'}
据我所知，梯度提升是通过计算学习到的决策树的加权和来工作的。我如何访问分配给每个学习助推器的权重？我想在训练后尝试 post- 处理权重以加快预测步骤，但我不知道如何获得各个权重。
使用 dump_model() 时，可以在创建的文件中看到不同的决策树，但其中没有存储权重。
在API中我还没有找到合适的函数。或者我可以用收缩参数 eta 手动计算权重吗？
每棵树都被赋予相同的权重eta，总体预测是每棵树预测的总和，如您所说。
您可能希望较早的树比后面的树获得更多的权重，但这不是必需的，因为在每棵树之后更新响应的方式。这是一个玩具示例：
假设我们有 5 个观察值，响应分别为 10、20、30、40、50。构建了第一棵树并给出了 12、18、27、39、54 的预测。
现在，如果 eta = 1，则传递给下一棵树的响应变量将为 -2、2、3、1、-4（即预测与真实响应之间的差异）。然后，下一棵树将尝试学习第一棵树未捕获的 'noise'。如果 nrounds = 2，则两棵树的预测之和将给出模型的最终预测。
如果 eta = 0.1，则所有树的预测都会按比例缩小 eta，因此第一棵树将 'predict' 1.2、1.8、2.7、3.9、5.4 .传递给下一棵树的响应变量将具有值 8.8、18.2、27.3、36.1、44.6（缩放预测与真实响应之间的差异）然后第二轮使用这些响应值构建另一棵树 - 并再次预测按 eta 缩放。所以树 2 预测 7、18、25、40、40，一旦缩放，就会变成 0.7、1.8、2.5、4.0、4.0。和以前一样，第三棵树将传递这些值与前一棵树的响应变量之间的差异（因此 8.1、16.4、24.8、32.1、40.6）。同样，所有树的预测总和将给出最终预测。
显然，当 eta = 0.1，并且 base_score 为 0 时，您至少需要 10 轮才能获得接近合理的预测。一般来说，您至少需要 1/eta 轮，通常更多。
使用小 eta 的基本原理是模型受益于朝着预测迈出小步而不是让树 1 完成大部分工作。这有点像结晶——慢慢冷却，你会得到更大、更好的晶体。缺点是您需要增加 nrounds，从而增加算法的运行时间。
我正在使用 xgboost 进行排名
param = {'objective':'rank:pairwise', 'booster':'gbtree'}
据我所知，梯度提升是通过计算学习到的决策树的加权和来工作的。我如何访问分配给每个学习助推器的权重？我想在训练后尝试 post- 处理权重以加快预测步骤，但我不知道如何获得各个权重。
使用 dump_model() 时，可以在创建的文件中看到不同的决策树，但其中没有存储权重。
在API中我还没有找到合适的函数。或者我可以用收缩参数 eta 手动计算权重吗？
每棵树都被赋予相同的权重eta，总体预测是每棵树预测的总和，如您所说。
您可能希望较早的树比后面的树获得更多的权重，但这不是必需的，因为在每棵树之后更新响应的方式。这是一个玩具示例：
假设我们有 5 个观察值，响应分别为 10、20、30、40、50。构建了第一棵树并给出了 12、18、27、39、54 的预测。
现在，如果 eta = 1，则传递给下一棵树的响应变量将为 -2、2、3、1、-4（即预测与真实响应之间的差异）。然后，下一棵树将尝试学习第一棵树未捕获的 'noise'。如果 nrounds = 2，则两棵树的预测之和将给出模型的最终预测。
如果 eta = 0.1，则所有树的预测都会按比例缩小 eta，因此第一棵树将 'predict' 1.2、1.8、2.7、3.9、5.4 .传递给下一棵树的响应变量将具有值 8.8、18.2、27.3、36.1、44.6（缩放预测与真实响应之间的差异）然后第二轮使用这些响应值构建另一棵树 - 并再次预测按 eta 缩放。所以树 2 预测 7、18、25、40、40，一旦缩放，就会变成 0.7、1.8、2.5、4.0、4.0。和以前一样，第三棵树将传递这些值与前一棵树的响应变量之间的差异（因此 8.1、16.4、24.8、32.1、40.6）。同样，所有树的预测总和将给出最终预测。
显然，当 eta = 0.1，并且 base_score 为 0 时，您至少需要 10 轮才能获得接近合理的预测。一般来说，您至少需要 1/eta 轮，通常更多。
使用小 eta 的基本原理是模型受益于朝着预测迈出小步而不是让树 1 完成大部分工作。这有点像结晶——慢慢冷却，你会得到更大、更好的晶体。缺点是您需要增加 nrounds，从而增加算法的运行时间。