神经网络学习笔记
来源:互联网 发布:mysql function 编辑:程序博客网 时间:2024/06/15 12:18
神经网络学习笔记
感知器
感知器学习神经元,电位超过阖值触发,是神经元的简易数学模型。
传统计算机0、1表示,基于电位模数转换,与神经元类似。计算机基于0,1可实现人脑部分功能,是否就基于此。
根据电位阖值来区分不同状态是否是一个智能的基本物理原则。
智能最低端是应激反应,应激反应是否就是来自于电位阖值。
所有智能体的最本质能力是否就是应激反应,或者说是–决策。
高级智能由低级决策决定,是否可以由决策(用阖值区分响应动作)生成高级智能。
应激或决策需要外界信息,外界信息是否就是感知器输入。
信息由重要等级之分,感知机的权重概念是否就可以解决这个问题。
感知器可以实现逻辑门,所以可以实现计算机的所有功能。
逻辑门是一种数学模型,它用来解释思维与逻辑,但它是最本质的吗,或是说,感知器才是最本质的,感知器是智能的本质。
相对与逻辑门的计算机,感知器可以自学习参数,而传统计算机不行,所以传统计算机只是按人类指令运行的工具,而感知器却可以真正产生智能,因为它可以学习!
S型神经元
感知器是是与非的绝对判断,所以无法看到权重微小变化的改变是好或坏,无法进行学习,所以我要得到的是概率,而不是绝对是非
实际世界也是如此,没有绝对的东西,本质的东西只能决定概率,真正的发生基于概率又伴有随机性。(是否可以在神经元中引入随机性,以避免受限于自己习惯)
概率的引进使我们看到了学习的效果,我们可以知道该怎么更好的学习。现实中我们就是不断的尝试,并根据反馈不断调整学习。
适者生存就是自然界的自动调参
传统编程,自己制定规则;机器学习,自己学习规则。
神经网络结构
隐藏层用于学习特征。感知机基于偏置进行决策,s神经元引入了概率,但不变的是最后的输出来自每一步的决策,在调整决策使输出更好的过程中,改变的是决策的依据,是用于判断决策的特征。
层数越多,决策越多,依据的特征越细。
每层神经元越多,供决策的特征越多,决策的方向更多。
梯度下降
损失函数,采取原决策的损失,怎么调整规则使损失减少。
按各个参数梯度的反方向减小损失
只考虑一个
考虑食欲
随机梯度下降,随机取m个,每次只算一个。
- 人工神经网络学习笔记
- 神经网络学习笔记
- 神经网络模型学习笔记
- 神经网络学习笔记三
- 神经网络学习笔记 - 0
- [神经网络]学习笔记
- BP神经网络学习笔记
- 神经网络学习笔记
- 机器学习笔记:神经网络
- 神经网络学习笔记
- 卷积神经网络学习笔记
- 卷积神经网络学习笔记
- 卷积神经网络学习笔记
- 神经网络学习笔记1
- 卷积神经网络学习笔记
- 神经网络学习笔记一
- 卷积神经网络学习笔记
- 神经网络学习笔记
- 今年暑假不AC
- 编写java程序151条建议读书笔记(19)
- SQL语句的基本知识
- JAVA如何在导出jar时可以将资源图片一起打包在jar中
- JVM 性能调优实战之:一次系统性能瓶颈的寻找过程二
- 神经网络学习笔记
- 20170529Link
- 正则匹配两字符串之间内容
- 最小生成元
- OpenMP critical
- android开发利用service完成计时
- 简单使用QT来调用摄像头
- (0)CUDA高性能计算流水式草稿
- 增强手写数字的样本2