2017.03.07回顾 GBDT前面树权重更大 python散点图
来源:互联网 发布:知乎观光团 编辑:程序博客网 时间:2024/05/16 04:50
1、确定数据传输格式
2、看了下通过率方面的问题
3、下午开始研究GBDT相关问题,我最开始的疑问,是不是前面的树的权重大,对于我实际的数据集大多数样本点是这样的,少部分比较反常,但是我后来换了一个标准数据集,由于数据集太好了,损失函数直接就收敛到0了,所以每个点的预测值也是收敛到一个非常大非常小的值,在expit函数下,大概绝对值8,数值就很接近1或0了,然后前面收敛曲线基本上接近于一条直线,看不出速率的变化,我后来输出了delta值,确实前面几棵树的delta值要大一些,而且对某些样本点,delta值输出出来非常漂亮,每一颗树依次减小,最后开始收敛于某个值,之所以前面接近一条直线,主要是前面的树权重并没有大到肉眼可以很好地分辨,所以我误以为没有变化,看来不同的数据集,前面几棵树的变化程度大小自然也不一样,有可能前面1棵树当后面3棵树,也有可能一棵树当五棵树,所以我无法佐证我自己的猜测,所以我基本上初步可以得出结论,对于GBDT,前面的树就是比后面的树更重要,通过研究这一点,我还观察到其他的一些现象,我自己的数据集上,收敛速度很慢,20000颗树都很难收敛,收敛曲线倒是越来越平滑,在这个过程中,测试集上的AUC越来越低,显然出现了过拟合。有时候某个点的值会存在拐点。
4、画散点图
import matplotlib as pltplt.scatter(x,y)plt.xlabel('x')plt.ylabel('y')plt.show()
5、我后来研究了下把散点图拟合成一条曲线,没找到现成的python模块
0 0
- 2017.03.07回顾 GBDT前面树权重更大 python散点图
- 2016.12.28回顾 GBDT初探
- 2017.02.20回顾 gbdt+lr
- 前面三周回顾
- python 回顾
- Python回顾
- 提升树GBDT详解
- 提升树GBDT 详解
- 提升树和GBDT
- 提升树GBDT详解
- GBDT
- GBDT
- GBDT
- GBDT
- GBDT
- GBDT
- GBDT
- GBDT
- c++实验1 简单计算问题体验
- Oracle的函数
- linux安装jdk
- a标签重置表单
- 深入理解Java:注解(Annotation)--注解处理器
- 2017.03.07回顾 GBDT前面树权重更大 python散点图
- Android Studio学习小结
- Java复习--对象
- java基础_day0003_循环_do_while
- HTTP基础知识(六)
- C语言 gets()和scanf()函数的区别
- Android开发 json解析之 -- json数组字符串
- ThinkPHP html模板中截取字符串 中文字符串
- Intellij Idea 创建Web项目入门(一)