lstm的数学推导

来源：互联网发布：apache 安装编辑：程序博客网时间：2024/04/27 01:18

本文是根据以下三篇文章整理的LSTM推导过程，公式都源于文章，只是一些比较概念性的东西，要coding的话还要自己去吃透以下文章。

前向传播：

1、计算三个gate（in, out, forget）的输入和cell的输入：

z i n j (t) = \sum m w i n j m y m (t - 1) + \sum v = 1 S j w i n j c v j S c v j (t - 1), (1)

z φ j (t) = \sum m w φ j m y m (t - 1) + \sum v = 1 S j w φ j c v j S c v j (t - 1), (2)

z o u t j (t) = \sum m w o u t j m y m (t - 1) + \sum v = 1 S j w o u t j c v j S c v j (t - 1), (3)

z c t j (t) = \sum m w c t j m y m (t - 1) + \sum v = 1 S j w c t j c v j S c v j (t - 1), (4)

2、计算上述各个gate和cell的激活值：

y i n j (t) = f i n j (z i n j (t)), (5)

y φ j (t) = f φ j (z φ j (t)), (6)

y o u t j (t) = f o u t j (z o u t j (t)), (7)

S c v j (0) = 0, S c v j (t) = y φ j (t) S c v j (t - 1) + y i n j (t) g (z c v j (t)), (8)

y c v j (t) = y o u t j S c v j (t), (9)

3、假定该网络为一个标准的三层结构（如下图所示），即一个输入层，一个隐层和一个输出层。则对于一个输出单元，我们可以按下述的方式计算它的输入和激活值。其中m为所有与该输出单元连接的单元(包括输入层的和隐层的)。

z k (t) = \sum m w k m y m (t), (10)

y k (t) = f k (z k (t)), (11)

4、计算当前时间点对应状态对input gate和、forget gate以及cell的偏导数。这里跟CNN不一样，CNN前向只是求值，没有传递梯度。但对于lstm，由于内部状态的改变依赖前一时间点的状态，因此内部状态的参数也会把错误传递到网络下一层，因此前向也涉及到梯度传递。

d S j v i n, m (t) = \partial S c v j ( t ) \partial w i n j m = t r \partial S c v j ( t - 1 ) \partial w i n j m y φ j (t) + g (z c v j (t)) f' i n j (z i n j (t)) y m (t - 1), (12)

d S j v φ m (t) = \partial S c v j ( t ) \partial w φ j m = t r \partial S c v j ( t - 1 ) \partial w φ j m y φ j (t) + S c v j (t - 1) f' φ j (z φ j (t)) y m (t - 1), (13)

d S j v c m (t) = \partial S c v j ( t ) \partial w c v j m = t r \partial S c v j ( t - 1 ) \partial w c v j m y φ j (t) + g' (z c v j (t)) y i n j (t) y m (t - 1), (14)

后向传播：
1、对于每个输出单元(output unit)，我们可以计算它的输出错误如下，其中tk(t)为前向计算的输出，yk(t)为真实值。

e k (t) = t k (t) - y k (t), (15)

2、接下来计算每个输出单元的残差，这里的计算和CNN是一样的，就是对该层网络求导。

δ k (t) = f' k (z k) e k (t) (16)

3、输出output gate的残差计算方式和output unit类似。（output unit只针对每一个小单元的权重，而output gate针对的是所有output unit连接到输出层的权重）

δ o u t j (t) = f' o u t j (z o u t j (t)) (\sum S j v = 1 h (S c v j (t)) \sum k w k c v j δ k (t)), (17)

4、第2和第3条针对的是外部残差，内部残差（包括input gate, forget gate和cell）计算方式如下：

e S c v j (t) = y o u t j (t) h' (S c v j (t)) (\sum k w k c v j δ k (t)), (18)

5、最后，根据残差更新各个参数（weight），注意外部和内部的表达式不一样，具体推导见原文。

1).output unit:

Δ w k m (t) = α δ k (t) y m (t - 1), (19)

2).output gate:

Δ w o u t, m (t) = α δ o u t (t) y m (t - 1), (20)

3).input gate:

Δ w i n, m (t) = α \sum S j v = 1 e S c v j (t) d S j v i n, m (t), (21)

4).forget gate:

Δ w φ m (t) = α \sum S j v = 1 e S c v j (t) d S j v φ m (t), (22)

5).cell:

Δ w c v j m (t) = α e S c v j (t) d S j v c m (t), (23)

0 0