基于神经网络的序列标注

最近一段时间做基于句子级的序列标注问题，一般NN效果会比单纯的CRF效果好一点。基于篇章级别的也可以类似的做，NN的思路底层是CNN或者LSTM抽取特征，接着直接给出标签或者加上一层CRF，使用Viterbi算法给出最优解。

1、使用CNN的文章为<Natural Language Processing (almost) from Scratch>

2、使用LSTM的文章为<Bidirectional LSTM-CRF Models for Sequence Tagging>

依次为基础的还有一些变形，

1）、不考虑标签之间的依赖程度，例如标点符号预测任务，基本上不加CRF这一层效果也不错。

2）、考虑标签之间的依赖程度，且只考虑前一个或者后一个的依赖程度，例如一般的命名实体识别任务，这时使用矩阵A表示这种关系即可，loss函数上把整个误差加上即可。

3）、还有一种稍微麻烦一点，考虑标签的前m或者后m的依赖关系，这时求解就稍微复杂一点，一般使用loopy Belief Propagation近似求解，例如病例的名称识别任务，目前看来效果最好。

参考文献：

i、Structured prediction models for RNN based sequence labeling in clinical text；

ii、Understanding Belief Propagation and its Generalizations；

iii、Structured Learning and Prediction in Computer Vision。