自然语言处理中的Attention Model

参考文章：

 https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652000715&idx=4&sn=b7c68c03e7f507cdce3626c01b018259&chksm=f121253ac656ac2c8d82a852efc2527601adccfca917444b23d5114e9022079dc473a5bd6436&mpshare=1&scene=1&srcid=071314t1VnJ0jGFjEKYiMhFj&key=df6095916712388e205c3bb3c57943443c0ba39ac566db39833c1cbebdba4a9fc8d5d308b7261927e70c536d68e3a19caba940fd8016a156312edbcd75447d2e2508760cffd01cec189244826c54258f&ascene=0&uin=MTczOTkwNjE2MQ%3D%3D&devicetype=iMac+MacBookPro11%2C5+OSX+OSX+10.12.5+build(16F73)&version=12020810&nettype=WIFI&fontScale=100&pass_ticket=3V7zt%2BdPOCWOpz6om5o9Ce4Xw6OObLP2J%2Fuw5ZdePCUarF1Ov4Xv3uzzaTclcFRn

简单介绍一下中心思想：

注意力模型就是根据输入句子中每个单词对输出句子中每个单词贡献大小设置权重。输入句子，通过f（每篇论文不同）计算每个输入单词与中间结果hi对齐的可能性，即encode之后Ci中每一个输入单词j对输出单词i影响大小的权重，再decode依次得到输出句子的每个单词，遇到终止符则输出句子结束即可。