[深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
来源:互联网 发布:windows phone升级 编辑:程序博客网 时间:2024/05/29 10:53
转载于 http://lanbing510.info/2014/11/07/Neural-Network.html
开篇语
文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。
发展历史
单层感知器
基本模型如下
训练
如果激励函数是线性的话,可用最小二乘直接计算:
如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):
上式只做了简单的求导展开,很容易推导:
多层感知器
基本模型如下
举例(含有一个隐含层的多层感知器MLP)
模式:
y=h(v)=h(h(u))y=h(v)=h(h(u))
求解:
然后分别对两个层的权值求导:
然后更新即可,反向传播(BP)
经验
优缺点
RBF神经网络
模型
求解
优点和视角
深度学习简介
前向神经网络
发展历程
整体一览
一些值得关注
学术
工业
Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥
Belief Network
Hopfield Network
Boltzman机
RBM 受限的玻尔兹曼机
RBM
模型
利用上图中公式,可以得到
求解 CD算法
DBN
模型
训练
面向特征提取
面向分类
DBM
模型
CNN
模型
训练
参考文献
阅读全文
1 0
- [深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
- 人工神经网络 深度学习 MLP RBF RBM DBN DBM CNN 整理学习
- [深度学习]RBM及DBN
- 系统学习深度学习(三) --RBM及DBN
- 系统学习机器学习之神经网络(一)--MLP及局部模型,RBF综述
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
- 深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP
- 深度学习(五)CNN卷积神经网络代码理解
- 深度学习基础(二)—— 从多层感知机(MLP)到卷积神经网络(CNN)
- AutoEncoder、RBM、DBM、DBN初探
- 深度学习基础(六)—— 从 RBM 到 DBN
- RBF神经网络的学习算法
- 深度学习资料整理(深度神经网络理解)
- 【深度学习:CNN】深入理解CNN的细节 (1)
- 深度学习:卷积神经网络CNN
- 【深度学习】Network In Network--在CNN中构建MLP
- Ubuntu 搭建hadoop平台
- LaTex中文编辑入门
- Dijkstra双栈算数表达式求值算法的过程与分析
- leetcode之链表类之相交成环类-----OJ 160/141/142 链表相交 链表环
- Dubbo之入门案例-yellowcong
- [深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
- 序二——以大师之道学管理
- TensorFlow学习笔记:3、TensorFlow基本概念
- 02 Java语言基础
- 【Linux】静态库及动态库
- Hbuilder开发app在手机端缓存json数据
- nextInt(),charAt(0),nextLine(),与电脑猜拳小程序
- php将图片压缩成缩略图(大,中,小)上传到数据库中
- 运行库:变长(可变)参数原理