LightGBM参数介绍

来源:互联网 发布:电动机控制模拟软件 编辑:程序博客网 时间:2024/06/07 02:43

Xgboost和LightGBM部分参数对照:

Xgboots       LightGbm         booster(default=gbtree)boosting(default=gbdt)eta(default=0.3)learning_rate(default=0.1)max_depth(default=6)num_leaves(default=31)min_child_weight(default=1)
min_sum_hessian_in_leaf(1e-3)
gamma(default=0)
min_gain_to_split(default=20)
subsample(default=1)
bagging_fraction(default=1.0)
colsample_bytree(default=1)
feature_fraction( default=1.0)
alpha(default=0)
lambda_l1(default=0)
lambda(default=1)
lambda_l2(default=0)objective( default=reg:linear)application(default=regression)eval_metric(default according to objective)metricnthreadnum_threads1. 使用num_leaves
因为LightGBM使用的是leaf-wise的算法,因此在调节树的复杂程度时,使用的是num_leaves而不是max_depth。
大致换算关系:num_leaves = 2^(max_depth)。它的值的设置应该小于2^(max_depth),否则可能会导致过拟合。
2.对于非平衡数据集:可以param['is_unbalance']='true’
3. Bagging参数:bagging_fraction+bagging_freq(必须同时设置)、feature_fraction。bagging_fraction可以使bagging的更快的运行出结果,feature_fraction设置在每次迭代中使用特征的比例。
4. min_data_in_leaf:这也是一个比较重要的参数,调大它的值可以防止过拟合,它的值通常设置的比较大。

5.max_bin:调小max_bin的值可以提高模型训练速度,调大它的值和调大num_leaves起到的效果类似。


原创粉丝点击