《神经网络设计》读书笔记——性能优化(一)

来源:互联网 发布:导入mac的视频找不到了 编辑:程序博客网 时间:2024/05/18 02:45

目的

应用泰勒级数展开式寻找最优点。

基本的优化算法

最速下降法(steepest descent)
牛顿法(Newton’s method)
共轭梯度法( conjugate gradient)

通用优化方法

Δxk=(xk+1xk)=akpk
这里向量pk 代表一个搜索方向,大于零的纯量ak表示学习速度(步长,最优化中的概念)

原创粉丝点击