利用Stanford Parser进行中文行为抽取

转自twenz

利用Stanford Parser进行中文行为抽取(Action mining)

问题

所谓的行为抽取就是从开源文本中获取关于给定的某个人/组织的行为，主要包括主语、谓语和宾语。其中主语是给定的一些词表示了需要抽取的信息对象（人、组织或团体）。谓语和宾语则表示了行为。

例如，我们要抽取关于“塔利班”的行为，则给定句子“塔利班制造了这起爆炸。”的抽取结果为“塔利班：制造爆炸”。如果塔利班还有其他的别称（比如基地组织）或者我们有关于塔利班里面重要成员的可以代表塔利班行为的人等，则应把它们作为主语的行为也一并抽取出。

方法

这种关于行为抽取的显然是在句子层面上的工作，用统计机器学习方法可能效果不会很好（个人感觉）。

1.选择数据（数据源，如新闻等）

2.划分句子

3.筛选相关句子（找出含有识别对象的句子，直接匹配）

4.分词（把那些目标对象的词语加入到词典中，采用ICTCLAS）

5.语法分析（Stanford Parser)

6.抽取行为 (查找规律，利用规则匹配等方法，这里面应该有很多方法优化。我这里只是给出了一个简单的匹配搜索）

代码

public class Dependency {    LexicalizedParser lp = new LexicalizedParser("xinhuaFactored.ser.gz");    Tree parser;    TreebankLanguagePack tlp = new ChineseTreebankLanguagePack();    GrammaticalStructureFactory gsf = tlp.grammaticalStructureFactory();    GrammaticalStructure gs;        public Dependency(){}    public void parserToTree(String sent[]){        parser = lp.apply(Arrays.asList(sent));    }    public void getGrammaticalStructure(){        gs = gsf.newGrammaticalStructure(parser);    }    public void outputRalation(){        Collection tdl = gs.typedDependenciesCollapsedTree();        System.out.println(tdl);    }    private boolean relationSubj(String rel){        if(rel.contains("subj"))return true;        if(rel.contains("advmod"))return true;        if(rel.contains("nn"))return true;          return false;    }    private boolean relationObj(String rel){        if(rel.contains("obj"))return true;        if(rel.contains("comp"))return true;        return false;    }    public void extractAction(String agent)    {        Collection tdl = gs.typedDependenciesCollapsedTree();        int act = -1;        for(int i = 0;i < tdl.size();i ++)        {            //TypedDependency(GrammaticalRelation reln, TreeGraphNode gov, TreeGraphNode dep)             TypedDependency td = (TypedDependency)tdl.toArray()[i];            String age = td.dep().toString();            if(age.contains(agent) && relationSubj(td.reln().toString())){                act = td.gov().index();                System.out.print(agent+":");                String verb = td.gov().value();                System.out.print(verb+":");                break;            }            //System.out.println(td.gov().toString()+td.reln().toString()+td.dep().toString());        }        if(act == -1)return;        for(int i = 0;i < tdl.size();i ++)        {            //TypedDependency(GrammaticalRelation reln, TreeGraphNode gov, TreeGraphNode dep)             TypedDependency td = (TypedDependency)tdl.toArray()[i];            if(td.gov().index() == act)            {                if(relationObj(td.reln().toString()))                    System.out.print(td.dep().value());            }        }        System.out.println();    }    public void extractAction(String sentence,String agent){        String sent[] = sentence.split(" ");        System.out.println(sent.length);        if(sent.length > 55)return;        this.parserToTree(sent);        this.getGrammaticalStructure();        this.extractAction(agent);    }    public static void main(String args[]){        Dependency dep = new Dependency();        //String sentence = "塔利班 制造 了 这 起 爆炸 。";        String sentence = "昨日 ， 圣元 又 遭 网友 质疑 ， 称 其 利用 专家 之 名 ， 制造 奶粉 安全 的 舆论 。";        String sent[] = sentence.split(" ");        dep.parserToTree(sent);        dep.getGrammaticalStructure();        dep.outputRalation();        dep.extractAction("网友");    }}

这里代码只是第5步和第6步的，经测试：能够抽取出一些简单的规范的行为。如果要提高准确率或召回率还需要不断地对规则进行修改。

分析

1.Stanford parser句法树分析时候占用内存可能较大，所以要调整eclipse虚拟内存空间，方法是在“运行——运行——自变量——VM自变量中填上-Xms256M -Xmx800M”，大小就要看实际情况和机子性能。另外还经常出现异常，还未找到有效办法解决。如句子较长出现“FactoredParser: exceeded MAX_ITEMS work limit [200000 items]; aborting.”解决办法参考：http://blog.amelielee.com/archives/140。在上面代码的构造函数中加上 Test.MAX_ITEMS = 3000000;

2.依赖关系树错误率很高，影响实际结果。据说哈工大的句法分析效果还不错，可以尝试。

3.因为句法分析的效果不佳，所以抽取的行为的依赖关系也不仅仅是 subj 和obj的主谓和渭滨关系，这就要进一步探索。另外还有很多的隐藏的行为、被动行为等都需要去改进。如“塔利班遭受政府军的严厉打击。”；“发动了这次袭击的塔利班武装分子撤出了阿富汗”隐含有行为“发动袭击”。