Attention-based Extraction of Structured Information from Street View Imagery

基本方法：
（1）使用CNN处理图像。
（2）将处理得出的特征加权后作为RNN的输入。

图1. 模型结构图最底层的四个原始图片是CNN特征提取器的输入，经过相同的CNN之后，得到四个特征f，再经过加权组合成ut，权重为at。ut为固定长度的特征向量，并作为RNN的输入.

CNN:
f = {fi,j,c} CNN提取器的输出，i,j是位置索引，c是通道索引

RNN:
难题：将特征向量f转为一个单独的文本字符串
方法：使用RNN
输入：CNN的输出特征向量f进行加权组合成固定长度的特征向量ut
变量表示：
（1）st
RNN隐藏层在时间t的状态。
（2）ut
RNN的输入
（3）at=at,i,j
加权权重
（4）ut,c=∑i,jat,i,jft,i,j
状态t下，第c个channel的输入ut,c的计算方式。
（5）x^t,c=Wcct−1+Wu1ut−1
其中ct−1表示前一个状态输出层的输出字符的独热编码，ut−1表示前一个状态输入层的输入，Wc,Wu1分别表示两者的参数
（6）(ot,st)=RNNstep(x^t,:,st−1)
st−1表示RNN在前一个时间的状态，ot表示在状态t的输出层的输出。
（7）o^t=softmax(Woot+Wu2ut)
（8）ct=argmax o^t(c)
（9）αt,i,j=softmax(Va∘(Wsst+Wf1fi,j,:+Wf2ei+Wf3ej))
其中ei表示坐标i的独热编码。本文将空间坐标（i，j）的独热编码加入了图像的特征向量。

处理不同视角的街景图像
将不同视角的街景图像经过相同的CNN提取出特征向量，然后将这些不同的特征向量以水平的方式组合成一个单独的输入向量

训练
使用最大似然估计来训练模型，似然函数为：∑Tt=1logp(yt|y1:t−1,x) ,其中x是输入的图像，y_t是在状态t下预测的标签。在FSNS数据库中，T=37，即一个单词最多只有37个字符，如果某个单词字符不足37个字符，这个模型将会预测null字符。
使用随机梯度下降法来训练模型。初始学习速率是0.002，momentum系数是0.75。大概训练了2000000步。
本文在训练过程中对图像进行缩放处理。在放大时，使用了双线性等差值。对图像在对比度、色调、饱和度、亮度等方面进行了失真处理。
为了正则化模型，本文使用权重衰减参数为0.00004，平滑系数0.9，LSTM值为10。LSTM单元大小为256。我们在40台机器上进行异步批处理，批大小为32。