线性回归模型收敛和参数的选择
来源:互联网 发布:java向ftp上传文件 编辑:程序博客网 时间:2024/05/17 23:36
通常来讲,在训练一个模型的时候需要用一个收敛的条件来约束算法迭代的轮次,比如在Logisitc Regression中会用相邻两次迭代的损失函数差小于10e-5来控制迭代次数,为了保险同时还有限定一个最大迭代次数。
一个模型的收敛所需要的迭代次数依赖于数据本身和算法参数。 线性回归里的梯度下降算法其收敛需要的迭代次数和learning rate的关系非常密切,怎样选择一个合适参数使得能收敛的更快? 我使用的办法如下。
从这个图就可以看出使用的办法了。
图中纵轴是损失函数在每次迭代完后的大小,横轴是迭代的次数, 在初次接触一个模型进行迭代训练的时候,画这么一张图能给人一个很直观的参数选择方法。
从图中可以看出,当learning rate选择范围在1,2,3,4的时候收敛的速度都是相当之快的,而当learningrate 选择0.1的时候收敛就明显变慢了,而当learning rate选择10的时候这条咖啡色的曲线就开始出现了振荡,这说明这个learning rate过大导致模型不收敛了。
- 线性回归模型收敛和参数的选择
- 回归的线性模型
- 线性回归Linear Regression-模型和参数求解
- 线性回归模型和最小二乘法
- 线性回归模型的应用
- 多元线性回归模型和最小二乘法
- 多元线性回归模型和最小二乘法
- 线性回归模型之LinearRegression和SGDRegressor
- 分类和回归(一)-线性模型
- 多元线性回归模型的t检验和回归系数的置信区间
- 回归和分类区别,及模型的选择
- 参数线性回归和梯度下降
- 树模型和线性回归 在回归问题中的比较
- 多元线性回归模型的F检验
- 回归的线性模型(1)
- 回归的线性模型(2)
- 常用的线性回归模型小结
- 多元线性回归模型的几何意义
- 重构笔记
- 产品演变的内在逻辑是什么?
- 线性回归学习笔记
- 牛顿迭代求一个数的平方根
- Logistic Regression 学习笔记 : 解决概率预估或者分类问题
- 线性回归模型收敛和参数的选择
- max sum of subtree
- max sum of subtree
- 特征选择之词频
- 特征选择之互信息
- 高级系统架构师
- 特征选择之卡方检验
- 十一五台山会总贴
- 文本分类——决策树模型