《神经网络设计》读书笔记——性能优化(三)
来源:互联网 发布:中国的社交网络有哪些 编辑:程序博客网 时间:2024/06/05 13:21
牛顿法
最速下降算法的导数是以一阶泰勒级数展开式为基础的
而牛顿法基于二阶泰勒级数展开式:
F(xk+1)=F(xk+Δxk)≈F(xk)+gTkΔxk+12ΔxTkAkxk
原理
求
gk+AkΔxk=0
求解
Δxk=−A−1kgk
牛顿法可以定义为
Δxk+1=Δxk−A−1kgk
特点
牛顿法是用一个二次函数逼近
如果原函数为二次函数,且有强极小点,他就能够实现一步极小化。
如果原函数不是二次函数,无法一步极小化,甚至无法确定是否收敛
总结
牛顿法的收敛速度通常比最速下降法更快
牛顿法可能会收敛到鞍点(局部极小点)
牛顿法可能会震荡和发散
阅读全文
0 0
- 《神经网络设计》读书笔记——性能优化(三)
- 《神经网络设计》读书笔记——性能优化(一)
- 《神经网络设计》读书笔记——性能优化(二)
- 《神经网络设计》读书笔记——性能优化(四)
- 《神经网络设计》读书笔记——性能曲面和最优点
- Java程序性能优化 读书笔记(三)设计模式:代理模式
- 《数据库索引设计优化》读书笔记(三)
- ics读书笔记——优化程序性能(一)
- JAVA性能优化权威指南 读书笔记(三)
- java性能优化读书笔记之三《程序优化===集合优化(list)》
- java性能优化读书笔记之三《程序优化===集合优化(Map)》
- 【MySql】Sql优化(三)——性能优化
- 《神经网络设计》读书笔记——Widrow-Hoff学习算法
- 《神经网络设计》读书笔记——反向传播算法
- 查询性能优化(高性能mysql读书笔记三)
- PRML读书笔记——神经网络
- Unity3D性能优化(三)——DrawCall
- Q&A——性能优化(三)
- HDU 1560 IDA*(迭代加深搜索)
- 完美的素数
- npm WARN enoent ENOENT: no such file or directory, open 'E:\Program Files\nodejs \package.json' npm
- jquery入口的三种方法
- 获取App启动时间
- 《神经网络设计》读书笔记——性能优化(三)
- FabricView带浮动按钮的画布
- 35 个 Java 代码性能优化总结
- 北大方正臭名远扬,方正人寿岂能盈利?
- nutz笔记(一)
- SQL中 decode()函数简介
- 快学Scala笔记(一)
- 【面试题】复杂链表的复制
- 开源一个BitmapHelper.java