神经网络
来源:互联网 发布:清朝留辫子原因 知乎 编辑:程序博客网 时间:2024/06/07 02:22
通俗地说,异或门就是:两个输入如果是异性恋,输出为一。两个输入如果是同性恋,输出为零。
1 感知器:
2 分布式表征 (Distributed Representation),是神经网络研究的一个核心思想。
它的意思是,当你表达一个概念的时候,不是用单个神经元一对一地存储定义;概念和神经元是多对多的关系:一个概念可以用多个神经元共同定义表达,同时一个神经元也可以参与多个不同概念的表达。
3 反向传播算法,通过在神经网络里增加一个所谓隐层 (hidden layer),同时也解决了感知器无法解决异或门 (XOR gate) 的难题。
4 除了基本的线性分类外,在数据样本线性不可分的时候,SVM 使用所谓 "核机制" (kernel trick) 的非线性映射算法,将线性不可分的样本转化到高维特征空间 (high-dimensional feature space),使其线性可分。
5 GPU 的主要任务,是要在最短时间内显示上百万、千万甚至更多的像素。这在电脑游戏中是最核心的需求。这个计算工作的核心特点,是要同时并行处理海量的数据。
6 2007年 Nvidia 推出名叫 CUDA 的并行计算软件开发接口,使开发者可以更方便的使用其 GPU 开发应用软件。
7 传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题)。
简单的说, 就是成本函数 (cost function) 从输出层反向传播时, 每经过一层,梯度衰减速度极快, 学习速度变得极慢,神经网络很容易停滞于局部最优解而无法自拔。
这就像原始部落的小混混,山中无老虎时,在本地称王称霸很舒服。 但任何关于"外面的世界很精彩"的信息,在落后的层层传播机制中被噪音混淆淹没了。
小混混一辈子很开心, 没有意识到外面的世界有多大, 也从未想出去多看看。
8 加拿大先进研究院 (Canadan Institue oF Advanced Research, 简称 CIFAR) 深度学习" (Deep Learning)
9 2006年,Hinton 和合作者发表论文,"A fast algorithm for deep belief nets" (深信度网络的一种快速算法)。
在这篇论文里,Hinton 在算法上的核心,是借用了统计力学里的"玻尔兹曼分布"的概念 (一个微粒在某个状态的几率,和那个状态的能量的指数成反比,和它的温度的倒数之指数成反比),使用所谓的"限制玻尔兹曼机" (RBM) 来学习。
RBM 相当于一个两层网络,同一层神经元之间不可连接 (所以叫 "限制"),可以对神经网络实现 “没有监督的训练”(unsupervised training)。深信度网络就是几层 RBM 叠加在一起。
略掉技术细节,RBM 可以从输入数据中进行预先训练,自己寻找发现重要的特征,对神经网络连接的权重进行有效的初始化。这属于一种叫做特征提取器 (feature extractor)的神经网络,也称自动编码器 (autoencoder)。
经过 RBM 预先训练初始化后的神经网络,再用反向传播算法微调,效果就好多了。
10 RELU 的优势还有下面三点:
传统的激励函数,计算时要用指数或者三角函数,计算量要比简单的 RELU 至少高两个数量级.
RELU 的导数是常数, 非零即一, 不存在传统激励函数在反向传播计算中的"梯度消失问题".
由于统计上,约一半的神经元在计算过程中输出为零,使用 RELU 的模型计算效率更高,而且自然而然的形成了所谓 "稀疏表征" (sparse representation), 用少量的神经元可以高效, 灵活,稳健地表达抽象复杂的概念
11 神经网络计算,另一个常为人诟病的问题,是过度拟合(overfitting)。一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合。但这并不意味着,这就是个好模型。
一个模型好坏的试金石,不在于和现有数据的拟合度, 而在于它是否可以在全新的情况和数据面前,做出正确的判断和预测
金融界的人常会看到各种交易模型,许多模型面对历史数据的测试时,表现非常好,胜率极高。但是如果投资者天真地以为找到了致富的捷径,把模型用于实际交易时,结果往往差强人意。
12
2012年 七月, Hinton 教授发表论文, "通过阻止特征检测器的共同作用来改进神经网络" (Improving neural networks by preventing co-adaptation of feature detectors)。
论文中为了解决过度拟合的问题,采用了一种新的称为"丢弃" (Dropout)的算法。
读自:http://www.cnblogs.com/tsiangleo/p/5450466.html
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 神经网络
- 理解HTML语义化
- c# 自定义配置文件
- Docker的“下一跳”在哪里?
- Ubuntu更换阿里源
- MySQL之——SQL按照汉字首字母进行搜索排序
- 神经网络
- React学习-列表循环中的特殊属性key
- Android自定义View的事件分发机制(三)
- notes
- buf_flush_page_cleaner_thread
- HTML基础总结
- HDU5122-对冒泡的理解||BIT
- 异常链,异常嵌套
- std::bind