长短时记忆网络的训练
熟悉我们这个系列文章的同学都清楚,训练部分往往比前向计算部分复杂多了。LSTM的前向计算都这么复杂,那么,可想而知,它的训练算法一定是非常非常复杂的。现在只有做几次深呼吸,再一头扎进公式海洋吧。
LSTM训练算法框架
LSTM的训练算法仍然是反向传播算法,对于这个算法,我们已经非常熟悉了。主要有下面三个步骤:
- 前向计算每个神经元的输出值,对于LSTM来说,即ft、it、ct、ot、ht五个向量的值。计算方法已经在上一节中描述过了。
- 反向计算每个神经元的误差项δ值。与循环神经网络一样,LSTM误差项的反向传播也是包括两个方向:一个是沿时间的反向传播,即从当前t时刻开始,计算每个时刻的误差项;一个是将误差项向上一层传播。
- 根据相应的误差项,计算每个权重的梯度。
关于公式和符号的说明
首先,我们对推导中用到的一些公式、符号做一下必要的说明。
接下来的推导中,我们设定gate的激活函数为sigmoid函数,输出的激活函数为tanh函数。他们的导数分别为:
σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(8)(9)(10)(11)
从上面可以看出,sigmoid和tanh函数的导数都是原函数的函数。这样,我们一旦计算原函数的值,就可以用它来计算出导数的值。
LSTM需要学习的参数共有8组,分别是:遗忘门的权重矩阵Wf和偏置项bf、输入门的权重矩阵Wi和偏置项bi、输出门的权重矩阵Wo和偏置项bo,以及计算单元状态的权重矩阵Wc和偏置项bc。因为权重矩阵的两部分在反向传播中使用不同的公式,因此在后续的推导中,权重矩阵Wf、Wi、Wc、Wo都将被写为分开的两个矩阵:Wfh、Wfx、Wih、Wix、Woh、Wox、Wch、Wcx。
我们解释一下按元素乘∘符号。当∘作用于两个向量时,运算如下:
a∘b=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥
当∘作用于一个向量和一个矩阵时,运算如下:
a∘X=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥(12)(13)
当∘作用于两个矩阵时,两个矩阵对应位置的元素相乘。按元素乘可以在某些情况下简化矩阵和向量运算。例如,当一个对角矩阵右乘一个矩阵时,相当于用对角矩阵的对角线组成的向量按元素乘那个矩阵:
diag[a]X=a∘X
当一个行向量右乘一个对角矩阵时,相当于这个行向量按元素乘那个矩阵对角线组成的向量:
aTdiag[b]=a∘b
上面这两点,在我们后续推导中会多次用到。
在t时刻,LSTM的输出值为ht。我们定义t时刻的误差项δt为:
δt=def∂E∂ht
注意,和前面几篇文章不同,我们这里假设误差项是损失函数对输出值的导数,而不是对加权输入netlt的导数。因为LSTM有四个加权输入,分别对应ft、it、ct、ot,我们希望往上一层传递一个误差项而不是四个。但我们仍然需要定义出这四个加权输入,以及他们对应的误差项。
netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc~,t=def∂E∂neto,t(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)(24)(25)
误差项沿时间的反向传递
沿时间反向传递误差项,就是要计算出t-1时刻的误差项δt−1。
δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(26)(27)(28)
我们知道,∂ht∂ht−1是一个Jacobian矩阵。如果隐藏层h的维度是N的话,那么它就是一个N×N矩阵。为了求出它,我们列出ht的计算公式,即前面的式6和式4:
htct=ot∘tanh(ct)=ft∘ct−1+it∘c~t(29)(30)
显然,ot、ft、it、c~t都是ht−1的函数,那么,利用全导数公式可得:
δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c~t∂c~t∂netc~,t∂netc~,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1(式7)(31)(32)
下面,我们要把式7中的每个偏导数都求出来。根据式6,我们可以求出:
∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](33)(34)
根据式4,我们可以求出:
∂ct∂ft∂ct∂it∂ct∂c~t=diag[ct−1]=diag[c~t]=diag[it](35)(36)(37)
因为:
otneto,tftnetf,titneti,tc~tnetc~,t=σ(neto,t)=Wohht−1+Woxxt+bo=σ(netf,t)=Wfhht−1+Wfxxt+bf=σ(neti,t)=Wihht−1+Wixxt+bi=tanh(netc~,t)=Wchht−1+Wcxxt+bc(38)(39)(40)(41)(42)(43)(44)(45)(46)(47)(48)
我们很容易得出:
∂ot∂neto,t∂neto,t∂ht−1∂ft∂netf,t∂netf,t∂ht−1∂it∂neti,t∂neti,t∂ht−1∂c~t∂netc~,t∂netc~,t∂ht−1=diag[ot∘(1−ot)]=Woh=diag[ft∘(1−ft)]=Wfh=diag[it∘(1−it)]=Wih=diag[1−c~2t]=Wch(49)(50)(51)(52)(53)(54)(55)(56)
将上述偏导数带入到式7,我们得到:
δt−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1=δTo,tWoh+δTf,tWfh+δTi,tWih+δTc~,tWch(式8)(57)(58)
根据δo,t、δf,t、δi,t、δc~,t的定义,可知:
δTo,tδTf,tδTi,tδTc~,t=δTt∘tanh(ct)∘ot∘(1−ot)(式9)=δTt∘ot∘(1−tanh(ct)2)∘ct−1∘ft∘(1−ft)(式10)=δTt∘ot∘(1−tanh(ct)2)∘c~t∘it∘(1−it)(式11)=δTt∘ot∘(1−tanh(ct)2)∘it∘(1−c~2)(式12)(59)(60)(61)(62)
式8到式12就是将误差沿时间反向传播一个时刻的公式。有了它,我们可以写出将误差项向前传递到任意k时刻的公式:
δTk=∏j=kt−1δTo,jWoh+δTf,jWfh+δTi,jWih+δTc~,jWch(式13)
将误差项传递到上一层
我们假设当前为第l层,定义l-1层的误差项是误差函数对l-1层加权输入的导数,即:
δl−1t=def∂Enetl−1t
本次LSTM的输入xt由下面的公式计算:
xlt=fl−1(netl−1t)
上式中,fl−1表示第l-1层的激活函数。
因为netlf,t、netli,t、netlc~,t、netlo,t都是xt的函数,xt又是netl−1t的函数,因此,要求出E对netl−1t的导数,就需要使用全导数公式:
∂E∂netl−1t=∂E∂netlf,t∂netlf,t∂xlt∂xlt∂netl−1t+∂E∂netli,t∂netli,t∂xlt∂xlt∂netl−1t+∂E∂netlc~,t∂netlc~,t∂xlt∂xlt∂netl−1t+∂E∂netlo,t∂netlo,t∂xlt∂xlt∂netl−1t=δTf,tWfx∘f′(netl−1t)+δTi,tWix∘f′(netl−1t)+δTc~,tWcx∘f′(netl−1t)+δTo,tWox∘f′(netl−1t)=(δTf,tWfx+δTi,tWix+δTc~,tWcx+δTo,tWox)∘f′(netl−1t)(式14)(63)(64)(65)
式14就是将误差传递到上一层的公式。
权重梯度的计算
对于Wfh、Wih、Wch、Woh的权重梯度,我们知道它的梯度是各个时刻梯度之和(证明过程请参考文章零基础入门深度学习(5) - 循环神经网络),我们首先求出它们在t时刻的梯度,然后再求出他们最终的梯度。
我们已经求得了误差项δo,t、δf,t、δi,t、δc~,t,很容易求出t时刻的Woh、的Wih、的Wfh、的Wch:
∂E∂Woh,t∂E∂Wfh,t∂E∂Wih,t∂E∂Wch,t=∂E∂neto,t∂neto,t∂Woh,t=δo,thTt−1=∂E∂netf,t∂netf,t∂Wfh,t=δf,thTt−1=∂E∂neti,t∂neti,t∂Wih,t=δi,thTt−1=∂E∂netc~,t∂netc~,t∂Wch,t=δc~,thTt−1(66)(67)(68)(69)(70)(71)(72)(73)(74)(75)(76)
将各个时刻的梯度加在一起,就能得到最终的梯度:
∂E∂Woh∂E∂Wfh∂E∂Wih∂E∂Wch=∑j=1tδo,jhTj−1=∑j=1tδf,jhTj−1=∑j=1tδi,jhTj−1=∑j=1tδc~,jhTj−1(77)(78)(79)(80)
对于偏置项bf、bi、bc、bo的梯度,也是将各个时刻的梯度加在一起。下面是各个时刻的偏置项梯度:
∂E∂bo,t∂E∂bf,t∂E∂bi,t∂E∂bc,t=∂E∂neto,t∂neto,t∂bo,t=δo,t=∂E∂netf,t∂netf,t∂bf,t=δf,t=∂E∂neti,t∂neti,t∂bi,t=δi,t=∂E∂netc~,t∂netc~,t∂bc,t=δc~,t(81)(82)(83)(84)(85)(86)(87)(88)(89)(90)(91)
下面是最终的偏置项梯度,即将各个时刻的偏置项梯度加在一起:
∂E∂bo∂E∂bi∂E∂bf∂E∂bc=∑j=1tδo,j=∑j=1tδi,j=∑j=1tδf,j=∑j=1tδc~,j(92)(93)(94)(95)
对于Wfx、Wix、Wcx、Wox的权重梯度,只需要根据相应的误差项直接计算即可:
∂E∂Wox∂E∂Wfx∂E∂Wix∂E∂Wcx=∂E∂neto,t∂neto,t∂Wox=δo,txTt=∂E∂netf,t∂netf,t∂Wfx=δf,txTt=∂E∂neti,t∂neti,t∂Wix=δi,txTt=∂E∂netc~,t∂netc~,t∂Wcx=δc~,txTt(96)(97)(98)(99)(100)(101)(102)(103)(104)(105)(106)
以上就是LSTM的训练算法的全部公式。因为这里面存在很多重复的模式,仔细看看,会发觉并不是太复杂。
当然,LSTM存在着相当多的变体,读者可以在互联网上找到很多资料。因为大家已经熟悉了基本LSTM的算法,因此理解这些变体比较容易,因此本文就不再赘述了。