《神经网络设计》读书笔记——性能曲面和最优点
来源:互联网 发布:mac hexo搭建个人博客 编辑:程序博客网 时间:2024/06/03 19:38
《神经网络设计》读书笔记——性能曲面和最优点
理论
性能学习
一种重要的学习规则,通过调整参数优化网络性能
性能指数
衡量网络性能的定量标准,网络性能良好时很小,反之很大
优化过程
定义性能指数,通过调整神经网络的权重和偏置减小性能指数
数学知识
泰勒级数
- 泰勒级数展开式
- 梯度
- 赫森矩阵
方向导数
- 一阶方向导数
- 二阶方向导数
极小点
- 强极小点
- 全局极小点
- 弱极小点
- 鞍点
- 驻点
正定矩阵
- 正定矩阵
- 半正定矩阵
最优化的必要条件
一阶条件
一个极小点处的梯度一定为零(驻点),这是局部极小点的一阶必要条件(不是充分条件)
二阶条件
一个正定的赫森矩阵是一个强极小点存在的二阶充分条件,但不是必要条件。
如果泰勒级数的二阶项为零,但三阶项为正,仍可能存在强极小点。
强极小点存在的充分必要条件是赫森矩阵为半正定矩阵。
二次函数
F(x)=12xTAx+dTx+c
梯度
∇F(x)=Ax+d
赫森矩阵
∇2F(x)=A
方向导数
λmin≤pTAp||p||2≤λmax
阅读全文
1 0
- 《神经网络设计》读书笔记——性能曲面和最优点
- 《神经网络设计》读书笔记——性能优化(一)
- 《神经网络设计》读书笔记——性能优化(二)
- 《神经网络设计》读书笔记——性能优化(三)
- 《神经网络设计》读书笔记——性能优化(四)
- 《神经网络设计》读书笔记——Widrow-Hoff学习算法
- 《神经网络设计》读书笔记——反向传播算法
- PRML读书笔记——神经网络
- CG笔记之二——曲线和曲面
- OpenGL超级宝典笔记——贝塞尔曲线和曲面
- 数学笔记25——弧长和曲面面积
- MATLAB电云插值你和曲面,求工作点
- mysql性能调优和架构设计读书笔记
- 神经网络—神经元和神经网络MATBLE代码
- 高性能javascript读书笔记之注意点
- C++从零实现深度神经网络之壹——Net类的设计和神经网络的初始化
- 【读书笔记】HeadFirst设计模式——状态和策略
- 【读书笔记】HeadFirst设计模式——代理和装饰者
- Jetty基本功能介绍
- 处理SDWebImage相同url,图片不同的情况
- 20个基础知识让您玩转seo
- STM8L低功耗
- PHP+Ajax点击加载更多内容 -效果好,速度快,带图片加载和跳转链接 加载最后一页更多变成文字变没记录
- 《神经网络设计》读书笔记——性能曲面和最优点
- 机器学习知识点(人工智能篇)
- shell实现彩色进度条
- [Leetcode] 32. Longest Valid Parentheses
- elasticsearch学习总结(三) API的使用范例2
- jsTree 预览 与入门
- Visual Studio中JavaScript智能提示(即引用JS库)
- NodeJs中process.cwd()与__dirname的区别
- 知识收藏:浏览器操作—ruby