《机器学习》读书笔记 7 第5章 神经网络 一
来源:互联网 发布:linux打包rpm 编辑:程序博客网 时间:2024/06/03 21:08
1 神经元模型
神经网络
神经网络是有具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体作出的交互反应。机器学习中的神经网络指的是神经网络学习。
M-P 神经元模型
在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些信号通过带权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值做比较,然后通过激活函数处理以产生神经元的输出。
激活函数
理想的激活函数是阶跃函数:一个分段函数 x<0 y=0,x>=0 y=1.但其不连续、不光滑。
常用的阶跃函数为Sigmoid函数,典型的Sigmod函数是对数几率函数:
sigmoid(x)=11+e−x
2 感知机与多层网络
感知机
感知机由两层神经元组成。输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,也称阈值逻辑单元。
感知机能容易实现逻辑与、或、非运算。
感知机的学习规则
简化:阈值可以看作一个固定输入为-1的哑结点,对应一个额外的连接权重,这样阈值学习就可以统一为权重学习。
规则:对训练样例(x,y) ,若当前感知机的输出为y^ ,则感知机权重将这样调整:
wi←wi+Δwi
Δwi=η(y−y^)xi
若感知机对训练样例(x,y) 预测正确,则感知机不发生变化,否则根据错误的程度进行权重调整。注意:感知机只有输出层神经元有激活函数,学习能力有限,甚至不能解决异或这样简单的非线性可分问题。
多层网络
两层感知机就能解决异或问题。
输出层与输入层之间的一层神经元,称为隐层或隐含层。
隐含层和输出层神经元都是拥有激活函数的功能神经元。
多层前馈神经网络
常见的神经网络,每层神经元与下一层神经元全互连,神经元之间不存在同层连接,也不存在跨层连接,称为多层前馈神经网络。
神经网络学习过程
神经网络的学习过程就是根据训练数据来调整神经元之间的连接权 以及 各功能神经元的阈值。神经网络学到的东西,蕴含在连接权和阈值中。
- 《机器学习》读书笔记 7 第5章 神经网络 一
- 《机器学习》读书笔记 7 第5章 神经网络 二
- 周志华《机器学习》第 5 章 神经网络
- 《机器学习》读书笔记,第四章人工神经网络
- 周志华《机器学习》笔记:第5章 神经网络
- 机器学习实战---读书笔记: 第5章 基Logistic回归
- 《机器学习》读书笔记 5 第3章 线性模型
- 读书笔记:机器学习实战【第5章:Logistic回归】
- 机器学习第5章第1节(上) : 使用神经网络学习逻辑或的运算
- 机器学习第5章第1节(下) : 针对两类函数训练神经网络
- 《机器学习》读书笔记 4 第2章 模型评估与选择 一
- 神经网络与深度学习第一天读书笔记
- Stanford机器学习---第四周.神经网络模型
- 机器学习 周志华 读书笔记 第1章 绪论
- 机器学习实战---读书笔记: 第2章 k-近邻算法
- 机器学习实战---读书笔记: 第3章 决策树
- 《机器学习》读书笔记 3 第1章 绪论
- 读书笔记:机器学习实战【第3章 决策树】
- SpringBoot 自动配置
- python 刷 网页阅读
- final变量编译后的状态
- url请求地址带中文参数的乱码处理
- thinkPHP3.2 安装流程
- 《机器学习》读书笔记 7 第5章 神经网络 一
- Unity_在屏幕中拖动图片_067
- shell脚本实现从master节点批量配置salve节点(主机名有瑕疵,IP映射,ssh服务)
- 目标跟踪算法——DSST(Discriminative Scale Space Tracker)
- BZOJ 3261 最大异或和 && qwb VS 去污棒(可持久化01Trie)
- 谷歌的gson解析
- Unity入门操作_UGUI_ScrollBar_029
- CodeForces 487 B.Strip(dp+尺取+set)
- 【POJ】3126