机器学习笔记之牛顿方法
来源:互联网 发布:大数据相关技术 编辑:程序博客网 时间:2024/05/17 03:08
假设有函数:,我们希望找到满足的值. 这里是实数.
牛顿方法执行下面的更新:
下图为执行牛顿方法的过程:
简单的来说就是通过求当前点的导数得到下一个点.用到的性质是导数值等于该点切线和横轴夹角的正切值.
令,我们可以用同样的算法去最大化
牛顿方法的一般化:
如果是一个向量,那么:
其中,是对的偏导数;
H称为黑塞矩阵(Hessian matrix),是一个n*n的矩阵,n是特征量的个数,并且
牛顿方法的收敛速度比批处理梯度下降快很多,很少次的迭代就能够非常接近最小值了;但是当n很大时,每次迭代求黑塞矩阵和黑塞矩阵的逆代价是很大的.
0 0
- 机器学习笔记之牛顿方法
- Andrew Ng机器学习课程之学习笔记---牛顿方法
- 【斯坦福---机器学习】复习笔记之牛顿方法
- 【斯坦福---机器学习】复习笔记之牛顿方法
- 机器学习 (笔记)牛顿方法
- 吴恩达机器学习之牛顿方法
- 机器学习---牛顿方法
- 机器学习--牛顿方法
- 【机器学习-斯坦福】学习笔记4 - 牛顿方法
- 【机器学习-斯坦福】学习笔记4 - 牛顿方法
- 【机器学习-斯坦福】学习笔记4 - 牛顿方法
- 机器学习笔记3——牛顿方法
- 【机器学习-斯坦福】 - 牛顿方法
- 机器学习之牛顿法
- 机器学习之牛顿法
- 机器学习笔记——牛顿法
- 机器学习第四课--牛顿方法
- 机器学习-牛顿方法&指数分布族&GLM
- Java四个内存区域
- Android控件学习之Spinner
- 50. Pow(x, n)**
- java中的接口懂多少
- 笔记3
- 机器学习笔记之牛顿方法
- Sqoop教程(一) Sqoop数据迁移工具
- python 通过post方式上传文件到php服务器
- 数据挖掘中的时序数据分析方法(According to Eamonn Keogh’s Time Series Tutorial)
- 1078. Hashing (25)
- sevureCRT乱码
- 24. Swap Nodes in Pairs
- JavaScript判断对象数组是否包含对象
- Fragment的用法