num_leaves LightGBM 中的选择?

num_leaves selection in LightGBM?

lightgbm中初始化num_leaves参数有什么经验法则吗?比如1000 featured dataset,我们知道用tree-depth of 10可以覆盖整个dataset,所以我们可以相应的选择这个,搜索space进行调优也受到限制。

但是在lightgbm中,我们怎么能粗略地猜测这个参数呢,不然用grid-search方法搜索space会很大

选择此参数的任何直觉都会有所帮助。

我遇到的最好的推荐是 this awesome summary by Laurae on lightgbm github。一如既往,这在很大程度上取决于您的数据。

基于有限的 kaggle 经验,我个人的经验法则是从尝试 [10,100] 范围内的值开始。但是如果你有一个可靠的启发式来选择树深度,你总是可以使用它并将 num_leaves 设置为 2^tree_depth - 1