num_leaves LightGBM 中的选择?
num_leaves selection in LightGBM?
在lightgbm
中初始化num_leaves
参数有什么经验法则吗?比如1000
featured dataset,我们知道用tree-depth
of 10
可以覆盖整个dataset,所以我们可以相应的选择这个,搜索space进行调优也受到限制。
但是在lightgbm
中,我们怎么能粗略地猜测这个参数呢,不然用grid-search方法搜索space会很大
选择此参数的任何直觉都会有所帮助。
我遇到的最好的推荐是 this awesome summary by Laurae on lightgbm github。一如既往,这在很大程度上取决于您的数据。
基于有限的 kaggle 经验,我个人的经验法则是从尝试 [10,100]
范围内的值开始。但是如果你有一个可靠的启发式来选择树深度,你总是可以使用它并将 num_leaves
设置为 2^tree_depth - 1
在lightgbm
中初始化num_leaves
参数有什么经验法则吗?比如1000
featured dataset,我们知道用tree-depth
of 10
可以覆盖整个dataset,所以我们可以相应的选择这个,搜索space进行调优也受到限制。
但是在lightgbm
中,我们怎么能粗略地猜测这个参数呢,不然用grid-search方法搜索space会很大
选择此参数的任何直觉都会有所帮助。
我遇到的最好的推荐是 this awesome summary by Laurae on lightgbm github。一如既往,这在很大程度上取决于您的数据。
基于有限的 kaggle 经验,我个人的经验法则是从尝试 [10,100]
范围内的值开始。但是如果你有一个可靠的启发式来选择树深度,你总是可以使用它并将 num_leaves
设置为 2^tree_depth - 1