了解 R gbm 包中的树结构
Understanding tree structure in R gbm package
我很难理解树在 R 的 gbm 梯度增强机器包中的结构。具体来说，查看 pretty.gbm.tree SplitVar 中的索引指向哪些特征的输出?
我在数据集上训练了 GBM，这是我的一棵树的顶部~四分之一——调用 pretty.gbm.tree:
的结果
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 9 6.250000e+01 1 2 21 0.6634681 5981 0.005000061
1 -1 1.895699e-12 -1 -1 -1 0.0000000 3013 0.018956988
2 31 4.462500e+02 3 4 20 1.0083722 2968 -0.009168477
3 -1 1.388483e-22 -1 -1 -1 0.0000000 1430 0.013884830
4 38 5.500000e+00 5 18 19 1.5748155 1538 -0.030602956
5 24 7.530000e+03 6 13 17 2.8329899 361 -0.078738904
6 41 2.750000e+01 7 11 12 2.2499063 334 -0.064752766
7 28 -3.155000e+02 8 9 10 1.5516610 57 -0.243675567
8 -1 -3.379312e-11 -1 -1 -1 0.0000000 45 -0.337931219
9 -1 1.922333e-10 -1 -1 -1 0.0000000 12 0.109783128
```
在我看来，从 LeftNode, RightNode 和 MissingNode 指向不同行的方式来看，索引是基于 0 的。当通过使用数据样本并沿着树向下进行预测来对此进行测试时，当我认为 SplitVar 使用基于 1 的索引 .[= 时，我得到了正确的答案。 19=]
但是，我构建的许多树中有 1 棵在 SplitVar 列中有一个 零！这是这棵树：
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 4 1.462500e+02 1 2 21 0.41887 5981 0.0021651262
1 -1 4.117688e-22 -1 -1 -1 0.00000 512 0.0411768781
2 4 1.472500e+02 3 4 20 1.05222 5469 -0.0014870985
3 -1 -2.062798e-11 -1 -1 -1 0.00000 23 -0.2062797579
4 0 4.750000e+00 5 6 19 0.65424 5446 -0.0006222011
5 -1 3.564879e-23 -1 -1 -1 0.00000 4897 0.0035648788
6 28 -3.195000e+02 7 11 18 1.39452 549 -0.0379703437
查看gbm树使用的索引的正确方法是什么？
当您使用 pretty.gbm.tree 时打印的第一列是在脚本 pretty.gbm.tree.R 中指定的 row.names。在脚本中，row.names 被分配为 row.names(temp) <- 0:(nrow(temp)-1)，其中 temp 是以 data.frame 形式存储的树信息。解释 row.names 的正确方法是将其读作 node_id 并为根节点分配 0 值。
在你的例子中：
Id SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 9 6.250000e+01 1 2 21 0.6634681 5981 0.005000061
表示根节点（用行号0表示）被第9个分割变量分割（这里分割变量的编号从0开始，所以分割变量是训练中的第10列设置 x)。 6.25 的 SplitCodePred 表示所有小于 6.25 的点都去了 LeftNode 1，所有大于 6.25 的点都去了 RightNode 2。此列中具有缺失值的所有点都分配给 MissingNode 21。由于这次拆分，ErrorReduction 为 0.6634，根节点中有 5981（Weight）。 0.005 的 Prediction 表示在该点被拆分之前分配给该节点所有值的值。在SplitVar、LeftNode、RightNode和MissingNode中由-1表示的终端节点（或叶子）的情况下，Prediction表示属于该叶节点的所有点的预测值调整（乘以）乘以 shrinkage。
要理解树结构，重要的是要注意树的分裂以深度优先的方式发生。因此，当根节点（节点 id 为 0）被拆分为其左节点和右节点时，将处理左侧，直到在返回和标记右节点之前无法进一步拆分。在您的示例中的两棵树中，RightNode 的值为 2。这是因为在这两种情况下，LeftNode 结果都是叶节点。
我很难理解树在 R 的 gbm 梯度增强机器包中的结构。具体来说，查看 pretty.gbm.tree SplitVar 中的索引指向哪些特征的输出?
我在数据集上训练了 GBM，这是我的一棵树的顶部~四分之一——调用 pretty.gbm.tree:
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 9 6.250000e+01 1 2 21 0.6634681 5981 0.005000061
1 -1 1.895699e-12 -1 -1 -1 0.0000000 3013 0.018956988
2 31 4.462500e+02 3 4 20 1.0083722 2968 -0.009168477
3 -1 1.388483e-22 -1 -1 -1 0.0000000 1430 0.013884830
4 38 5.500000e+00 5 18 19 1.5748155 1538 -0.030602956
5 24 7.530000e+03 6 13 17 2.8329899 361 -0.078738904
6 41 2.750000e+01 7 11 12 2.2499063 334 -0.064752766
7 28 -3.155000e+02 8 9 10 1.5516610 57 -0.243675567
8 -1 -3.379312e-11 -1 -1 -1 0.0000000 45 -0.337931219
9 -1 1.922333e-10 -1 -1 -1 0.0000000 12 0.109783128
```
在我看来，从 LeftNode, RightNode 和 MissingNode 指向不同行的方式来看，索引是基于 0 的。当通过使用数据样本并沿着树向下进行预测来对此进行测试时，当我认为 SplitVar 使用基于 1 的索引 .[= 时，我得到了正确的答案。 19=]
但是，我构建的许多树中有 1 棵在 SplitVar 列中有一个 零！这是这棵树：
SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 4 1.462500e+02 1 2 21 0.41887 5981 0.0021651262
1 -1 4.117688e-22 -1 -1 -1 0.00000 512 0.0411768781
2 4 1.472500e+02 3 4 20 1.05222 5469 -0.0014870985
3 -1 -2.062798e-11 -1 -1 -1 0.00000 23 -0.2062797579
4 0 4.750000e+00 5 6 19 0.65424 5446 -0.0006222011
5 -1 3.564879e-23 -1 -1 -1 0.00000 4897 0.0035648788
6 28 -3.195000e+02 7 11 18 1.39452 549 -0.0379703437
查看gbm树使用的索引的正确方法是什么？
当您使用 pretty.gbm.tree 时打印的第一列是在脚本 pretty.gbm.tree.R 中指定的 row.names。在脚本中，row.names 被分配为 row.names(temp) <- 0:(nrow(temp)-1)，其中 temp 是以 data.frame 形式存储的树信息。解释 row.names 的正确方法是将其读作 node_id 并为根节点分配 0 值。
在你的例子中：
Id SplitVar SplitCodePred LeftNode RightNode MissingNode ErrorReduction Weight Prediction
0 9 6.250000e+01 1 2 21 0.6634681 5981 0.005000061
表示根节点（用行号0表示）被第9个分割变量分割（这里分割变量的编号从0开始，所以分割变量是训练中的第10列设置 x)。 6.25 的 SplitCodePred 表示所有小于 6.25 的点都去了 LeftNode 1，所有大于 6.25 的点都去了 RightNode 2。此列中具有缺失值的所有点都分配给 MissingNode 21。由于这次拆分，ErrorReduction 为 0.6634，根节点中有 5981（Weight）。 0.005 的 Prediction 表示在该点被拆分之前分配给该节点所有值的值。在SplitVar、LeftNode、RightNode和MissingNode中由-1表示的终端节点（或叶子）的情况下，Prediction表示属于该叶节点的所有点的预测值调整（乘以）乘以 shrinkage。
要理解树结构，重要的是要注意树的分裂以深度优先的方式发生。因此，当根节点（节点 id 为 0）被拆分为其左节点和右节点时，将处理左侧，直到在返回和标记右节点之前无法进一步拆分。在您的示例中的两棵树中，RightNode 的值为 2。这是因为在这两种情况下，LeftNode 结果都是叶节点。