CRF专业领域实体识别

命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。
实体识别通常包括两部分：（1）实体边界识别；（2） 确定实体类别（人名、地名、机构名或其他）。英语中的命名实体具有比较明显的形式标志（即实体中的每个词的第一个字母要大写），所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，汉语命名实体识别任务更加复杂，而且相对于实体类别标注子任务，实体边界的识别更加困难。
近年来，随着对文本病历的研究，需要对医学实体进行识别，实体包括症状，检查，手术，药物等。这里介绍用CRF进行病人自述症状的识别。
下载工具CRF++
1 准备大量病历，抽取病人自述症状部分，经过分词和标注等预处理。
2 因为语料库中医学术语是低频词，识别症状实体需要人工标注词首B ，词中I，词尾E,无关词o
头晕    vi   b
，      wd   o
早上   t      o
起来   v      o
腰部   n    b
僵硬  an   e
，     wd   o
视物   v     b
模糊  an   e
,        wd   o
双     m     o
小腿   n     b
下沉   vi     e

3 训练模型 crf_learn template train.data model

4 测试 crf_test -m model test.data>out.txt

父亲    n    o
手脚    n    b
麻木    an    i
，    wd    o
胸部    n    b
发    v    i
紧    a    i
，    wd    o
走路    vi    o
没劲    a    i
，    wd    o
手脚    n    b
麻木    an    i

可以找到手脚麻木，胸部发紧，没劲，手脚麻木的症状。有基于单字标注，说基于词的标注，如果因为分词的不准确会导致识别错误。