神经网络笔记

感知机(Perceptron)

感知机模型如下图所示:

输入层接受多个二值输入, 输出层提供一个二值输出(M-P神经元). 用数学公式来描述就是:

y={0,1,∑jwjxj+b≤0∑jwjxj+b>0

这里, y是指输出, xi指输入, wi是输入的权重, j是输入管脚个数, b是指偏移.
多个感知机可以构成神经网络, 如下图:

Sigmoid Neurons

M-P神经元的输出是一个阶跃函数, 阶跃函数是非连续的, 这样不利于逼近学习, 所以使用Sigmoid神经元作为输出层, 其数学表示为:

sigmoid(z)=11+e−z

也记为:

σ(z)=11+e−z

σ(z)的导数有个很好的特性, 推导如下:

σ′(z)=e−z(1+e−z)2

因为

1−σ(z)=1−11+e−z=e−z1+e−z

所以

σ′(z)=σ(z)(1−σ(z))

这个性质对于神经网络的学习计算过程非常有利.

Reference

• http://neuralnetworksanddeeplearning.com/ 强烈推荐
• 机器学习 - 周志华 清华大学出版社