机器学习数学|Taylor展开式与拟牛顿
来源:互联网 发布:电子教室软件解锁 编辑:程序博客网 时间:2024/05/22 03:44
机器学习中的数学
觉得有用的话,欢迎一起讨论相互学习~Follow Me
原创文章,如需转载请保留出处
本博客为七月在线邹博老师机器学习数学课程学习笔记
Taylor 展式与拟牛顿
索引
taylor展式
- 计算函数值
- 解释gini系数公式
- 平方根公式
牛顿法
- 梯度下降算法
- 拟牛顿法
- DFP
- BFGS
Taylor公式
- 如果函数在x0点可以计算n阶导数,则有Taylor展开
- 如果取x0=0,则有Taylor的麦克劳林公式.
Taylor公式的应用1:函数值计算
计算ex
- 则我们现在的关键就是计算k和r
Taylor公式的应用2:解释Gini系数
- 在随机数和决策森林中会提到的非常重要的概念– Gini系数
- Gini系数定义 某个类别发生的概率乘以这个类别不发生的概率,把所有类别此项相加.
- 已知交叉熵定义,我们用泰勒公式将f(x)=ln(x)在x=1处一阶展开为1-x,将其带入交叉熵公式中,得到交叉熵公式的近似值公式.
Taylor公式的应用3:牛顿迭代法计算平方根
梯度下降算法
牛顿法
- 如果我们要求f(x)的最值(最小值或最大值),即要使
f′(x)=0,(f(x)即是φ(x)) ,这时候的到式子Xk+1=Xk−f′(Xk)f′′(Xk)−−牛顿法公式
- ps:这里我们假设f(x)是一个一元函数,如果是一个多元函数,推导过程完全相同,只是此时
f′(x)是一个向量,f′′(x)是一个Hessian矩阵
关于Hessian矩阵
关于牛顿法
- 假设红色的曲线是目标函数
- 假设当前找到的点是
Xk ,我们在此处求其切线,并且沿着切线方向在横坐标轴上移动αk 的距离,这时候我们使用的算法就是梯度下降法. - 给定
Xk 点的函数值,导数值,二阶导数值得到的抛物线,我们求这条抛物线的梯度为0(即最小值)的点(Xk+dk) ,即牛顿法是利用二次函数做的近似而梯度下降法是利用一次函数做的近似
牛顿法特点
Hessian矩阵非正定
- 如图,左边是标准情况,右边是f(x,y,z…)多元目标函数二阶导数非正定的情况,如果是f(x)一元函数,则是二阶导数为负数的情况.
- 假设红线是目标函数,最小值点在A点,假设我们选取的
X=Xk 时,此时选取的点在B点,在B点使用牛顿法得到虚线,由于得到的二次曲线是一个凹函数,二阶导数为负数得到的极值点是虚线的最大值点! - 为了解决这个问题,我们提出拟牛顿法的思路.
拟牛顿法
拟牛顿的思路
- 求Hessian矩阵的逆影响算法效率
- 搜索方向并非严格需要负梯度方向或者牛顿方向
- 可以用近似矩阵代替Hessian矩阵,只要满足矩阵正定,容易求导,或者可以通过若干步递推公式计算得到.
- DFP: Davidon -Fletcher -Powell(三个数学家名字命名)
- BFGS: Broyden -Fletcher -Goldfarb -Shanno
DFP
BFGS
阅读全文
0 0
- 机器学习数学|Taylor展开式与拟牛顿
- 机器学习笔记1—泰勒展开式和牛顿法
- 机器学习中牛顿法与拟牛顿法
- 机器学习数学基础--牛顿法
- 机器学习-牛顿法与源码实现
- 【数学】梯度下降,牛顿法与拟牛顿法
- 机器学习--梯度-牛顿-拟牛顿优化算法和实现
- 多元函数的泰勒(Taylor)展开式
- 多元函数的泰勒(Taylor)展开式
- 机器学习---牛顿方法
- 机器学习--牛顿方法
- 七月算法机器学习笔记6 梯度下降法与拟牛顿法
- 机器学习入门:牛顿法
- 机器学习4 - 牛顿法求最值
- 【机器学习-斯坦福】 - 牛顿方法
- 机器学习【2】牛顿迭代法
- 机器学习之牛顿法
- 机器学习之牛顿法
- 小问题2
- 继承
- arcgis api for javascript 自定义工具栏总结
- centos7系统下挂载磁盘
- 数据结构第十周项目2--用二叉树求解代数表达式
- 机器学习数学|Taylor展开式与拟牛顿
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础006--flink分布式部署001
- Javascript中带参数的构造函数的执行过程
- 讲大家讲下切图
- 51nod 1536 不一样的猜数游戏 (找规律+素数筛)
- 6.3
- Ubuntu安装caffe和rcnn的兼容性问题
- idea破解
- Java的io类的使用场景