Basic Neurons

• Recognizing patterns 

            -Objects in real scenes 

            -Facial identities or facial expressions

            -Spoken words

• Recognizing anomalies

            -Unusual sequences of credit card transactions

            -Unusual patterns of sensor readings in nuclear power plant

• Prediction

            -Future stock prices or currency echange rates

            -Which movies will a person like

Standard Task:   The MNIST database of hand-written digits 

   - They are publicly available and we can learn them quite fast in moderate-sized neural net.

   - We know a huge amout about how well various machine learning methods do on MNIST

Deep neural networks pioneered byGeorge Dahl and Abdel-rahman Mohamedare now replacing the previous machine learning method for the acoustic model.

神经元：（neuron）

细胞体

轴突：发送信息给其他神经元

树突：从其他神经元接收信息

一个神经元的轴突连接其他神经元的树突  （突触）         

一个活动的刺激沿着轴突传递，导致电荷通过突触注入突触后面的神经元。一个神经元的树突接收到足够的电荷，使得轴丘部分发生去极化，生成一个刺激。当轴丘去极化以后，神经元会通过轴突发送一个刺激，这个刺激就是沿着轴突传播的去极化子的波。

突触（synapses）拥有有趣的结构. 他们包含一种小的囊泡, 囊泡中是一些递质化学物质. 当一个刺激到达轴突, 会导致这些囊泡迁移到轴突表面, 并释放这些化学物质 到突触的裂缝之中. 
神经递质分为不同的几种. 其中有两种神经递质分别起到实现正向和负向的刺激


突触的功能：
改变传递的囊泡的数量
改变接收分子对神经递质的敏感性


Synapses are slow , but they have advantages over RAML
    -They are very small and very low-power.
    -They adapt using locally available signals

            But what rules do they use to decide how to change?

——————————————————————————————————————————————————————————————

Some neural models

Linear neurons 线性神经

simple but computationally limited

 

Binary threshold neurons 阈值型神经元

超过阈值输出1，否则输出0

Rectified Linear Neurons 分段线性神经元

S型神经元（sigmoid neurons）：应用最广泛的神经元

导数连续

Stochastic binary neurons  随机阈值型神经元

（泊松分布） 

————————————————————————————————————————————————————————————

A simple example

输入特定形状时，该形状的输出单元会被激活。

如果一个像素是活跃的，它要做的是给特定的形状投票。每个像素可以给多个形状投票。每个投票可以有不同的强度。

增加从图像中活动的像素到正确分类的权重

控制权值：减小从活跃像素到任何网络猜测分类的权重。

添加多个训练以后：

这个网络所学到的东西相当于每个形状的迷你模板，然后判断哪个形状的模板与输入的图形中重叠最多，哪个图形就是胜出者。

手写数字在权重上变化太复杂，简单的模板不能识别所有形状。

必须为数字建立允许异变的模型：首先进行特征提取，然后再看这些特征的排列。