深层神经网络
来源:互联网 发布:中国出口贸易数据分析 编辑:程序博客网 时间:2024/04/30 09:16
采用多层可以对特征进行不同层次的抽象,从而简化学习问题。
基础概念
前馈神经网络信号从输入层向输出层单向传播,网络中无反馈,可用一个有向无环图表示
分类
按照深层网络中每一层的(编码-解码)结构可以分为三类,
一,包括编码和解码两部分。RBM系类,组成DBN;AutoEncodor系列,如Sparse AutoEncodor、Denoise AutoEncodor、 contractive autoencoder, saturating autoencoder等
二,只包含解码部分。比如sparse coding, deconvolution network.
三,只包含编码部分。一般的前馈网络。
学习算法
目标函数
损失函数
- 均方误差
- 距离函数(如欧式距离)
- 极大似然函数(softmaxwithloss)
- 交叉熵损失函数
- 更多
BP算法
基于梯度的算法
训练中的困难
不同层的训练速度不同,低层的训练较高层慢,也可能高层的训练较低层慢,原因是梯度不稳定,存在梯度消失问题(vanishing gradient problem)、梯度爆发问题(exploding gradient problem),在使用sigmoid函数的神经网络中容易存在梯度消失问题。
均方误差
对单层神经网络,将需要调整的参数,包括偏置值,组成一个向量
LMS算法
参考文献
1.http://neuralnetworksanddeeplearning.com/chap5.html
0 0
- 深层神经网络
- 第四周深层神经网络
- 改善深层神经网络
- 吴恩达学习-深层神经网络
- 深层神经网络的搭建
- 为什么深层神经网络难以训练
- 深层神经网络——总结
- 深层神经网络过拟合优化
- TensorFlow学习笔记(三):深层神经网络
- 深层神经网络——过拟合问题
- 深层神经网络——滑动平均模型
- TensorFlow学习_(3)深层神经网络
- 吴恩达 改善深层神经网络 第一周
- deep learning 专项课程一 深层神经网络
- 改善深层神经网络第一周-Initialization
- 改善深层神经网络第一周-Regularization
- 改善深层神经网络第一周-Gradient Checking
- 改善深层神经网络第二周-Optimization methods
- Cocos2d-x的坐标系
- noip 2000年 乘积最大 - DP
- HDOJ-1503 Advanced Fruits
- adb 通信协议分析以及实现(一)
- 进程
- 深层神经网络
- 快速排序实现分析
- 一个优秀的Java程序员应该具备8种能力
- 异地机房之VPN/HTTP/HTTPS
- 个人总结(3.1)
- C-1-自加符-p9
- 正则表达式
- Nginx负载均衡配置
- bootstrap双日期选择插件