《神经网络设计》读书笔记——Widrow-Hoff学习算法

Widrow-Hoff学习算法

简介

将性能学习的原理应用到单层线性神经网络。
Widrow-Hoff学习算法是一个近似最速下降法，其中性能指标为均方误差。
Widrow-Hoff学习算法被广泛应用于信号处理应用中
Widrow-Hoff学习算法是多层网络中BP算法的先驱

ADALINE

和感知机网络具有相同的基本结构，唯一不同点是ADALINE使用了线性传输函数purelin

均方误差

• F(x)=E[e2]=E[(t−a)2]=E[(t−xTz)2]

可以写为

• F(x)=c−2xTh+xTRx

其中

• c=e[t2],h=e[tz],R=E[zzT]，z=[p1]

若唯一最小值存在，则为：

• x∗=R−1h

LMS算法

• W(k+1)=W(k)+2αe(k)pT(k)
• b(k+1)=b(k)+2αe(k)
• 收敛点x∗=R−1h
• 稳定学习速度0<α<1λmax(λmax是R的最大特征值)

抽头延迟线

自适应滤波