梯度下降法
来源:互联网 发布:js遍历json二维数组 编辑:程序博客网 时间:2024/05/24 04:15
梯度下降法(gradient descent):是求解无约束最优化问题的一种常用的方法。是一种迭代算法。
输入: 目标函数f(x), 梯度函数g(x) = ▽f(x) , 计算精度 ε;
输出: f(x) 的极小点x*。
(1) 取初始值x(k) 属于Rn,置k= 0
(2) 计算f(x(k) )
(3) 计算梯度gk=g(x(k) ),当|| gk|| < ε 时,停止迭代,令x* = x(k);否则,令pk= -g(x(k) ),求λk,使f(x(k) +λkpk) = minf(x(k) +λkpk)
(4)置x(k+1)=x(k)+λkpk,计算f(x(k+1)) 当||f(x(k+1)) - f(x(k) )|| < ε 或者 ||x(k+1) - x(k) || < ε时, 停止迭代,令x* = x(k+1)
(5)否则,置k=k+1, 转(3)
注:▽f(x) 是对未知数求导, λ是梯度下降的步长。梯度下降的越来越小,当小于 ε时停止。否则继续迭代,新的变量的值为旧的变量的值x(k)加上步长乘以梯度的值λkpk
本文同《统计学习方法》书上内容一样
0 0
- 梯度下降法
- 梯度下降法
- 梯度下降法
- 梯度下降法
- 梯度下降法 简记
- 梯度下降法一
- 梯度下降法二
- 梯度下降法三
- 梯度下降法
- 梯度下降法实例
- 梯度下降法
- 梯度下降法
- 随机梯度下降法
- 梯度下降法
- 梯度下降法
- 梯度下降法
- 梯度下降法入门
- 梯度下降法
- MySQL查询优化器--逻辑查询优化技术(二)--子查询优化(二)
- RecyclerView的Item设置点击监听事件
- hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
- MySQL查询优化器--逻辑查询优化技术(二)--子查询优化(三)
- Hadoop编程在HDFS里新建文件并写入内容,以及输出
- 梯度下降法
- Spring中bean的作用域scope详解
- MySQL查询优化器--逻辑查询优化技术(二)--子查询优化(四)
- Linux下安装theano
- MySQL查询优化器--逻辑查询优化技术(三)--嵌套连接消除
- ARM指令集2
- 算法-字符串之全排列
- ubuntu下卸载python2和升级python3.5
- CentOS6.8 网络配置ip 连接外网