机器学习(二)
来源:互联网 发布:软件功能设计说明书 编辑:程序博客网 时间:2024/05/16 19:13
监督学习应用——梯度下降(和线性回归是什么关系?)
- 自动驾驶可以说的一个监督学习的例子,因为人类司机提供的正确驾驶方向就是数据集中的正确答案
梯度下降算法——第一个监督学习算法
- 思想:
- 构造出误差表示函数之后,向误差下降最快的方向走
- 性质:
- 一定会结束
- 起点不同,最后结束时得到的局部最优值可能不同。即梯度下降的结果有时会依赖于参数的初始值
- 当接近局部最小值时,步子会越来越小(因为每次下降都会乘以梯度,局部最小值处的梯度为0。一般情况下,越接近局部最小值的梯度越小,直到变成0,所以步子会越来越小)(实际上并没有环视一周,反正是和求偏导数有密切的关系)
- 做法:
- 构建误差函数
- 每一次都向着是误差函数减少最多的方向前进(这样就涉及到对误差函数求导),每到新的一步都有一个环视360度,这个动作就是在找梯度下降最快的方向
- 最终达到局部最优
- 批梯度下降算法
- 批(batch)并不是一个好词,它指的是每次下降都要遍历整个训练集合,所以这种算法不适合大训练集的情况
- 对于大规模数据集,应该采用随机梯度下降算法,也称作增量梯度下降算法。
- 缺点是不会精确地收敛到全局最小值
- 下降的过程中还可能会“上升”
- 最后可能在最小值附近徘徊
阅读全文
0 0
- 机器学习(二)
- 机器学习(二)
- 机器学习(二)
- 机器学习(二)决策树
- 机器学习笔迹(二)
- 机器学习笔记(二)
- 机器学习实战(二)
- 机器学习(二)--决策树
- 机器学习笔记(二)
- 机器学习入门(二)
- Python机器学习(二)
- 机器学习基础知识(二)
- 机器学习(二)-决策树
- 机器学习基本概念(二)
- 机器学习(二十)
- 机器学习(二十一)
- 机器学习笔记(二)
- 机器学习练习题(二)
- 一个非常好的大数据学习网站
- 将图片转变成手绘图
- 机器学习(一)
- ScrollInToView方法(滚动页面)
- RestEasy统一异常处理问题,处理之后前端一直处于等待状态未返回异常结果
- 机器学习(二)
- JAVA List 三种遍历方法
- 关于python 连接 mysql pip3安装mysql-connector 纠正廖雪峰安装小细节
- 多张图片的左右切换特效,实现循环切换
- 《python数据分析组键篇》之scipy
- 判断钽电容正负极性
- 深入理解:Android 编译系统
- 机器学习(三)
- 文章标题