THUCTC源码解读(三)

Term类

Term也是一个非常简单的类，是文档向量(DocumentVector)的基本组成部分，一个Term表示词典中的一个词。
存储的变量只有id和weight, id表示该Term代表的词在词典中的id，而weight表示该词在文档向量中的权重。此外，Term的内部类TermIdComparator还实现了Comparator接口，使得java能够对Term数组进行排序。

public class Term {    public int id;    public double weight;    public static class TermIdComparator implements Comparator<Term>, Serializable {        public int compare(Term o1, Term o2) {            return o1.id - o2.id;        }    }    public static class TermWeightComparator implements Comparator<Term> {        public int compare(Term o1, Term o2) {            return Double.compare(o2.weight, o1.weight);        }    }}

---

TermWeighter类

TermWeighter是一个抽象类，需要继承类实现对Term计算权重的功能。由于在THUCTC中使用了TF-IDF的权重计算方式，所以该类需要词典来提供一个词的TF和IDF值。

public abstract class TermWeighter implements Serializable{    protected Lexicon lexicon;    public TermWeighter( Lexicon l ) {        lexicon = l;    }    abstract public double weight ( int id, double tf, int doclen);}

---

DocumentVector类

DocumentVector，就是将一篇文档向量化表示。文档向量的长度即为词典中单词数目，向量中第i个term表示词典中的第i个词在该文档向量中的权重。
DocumentVector本身并不存储向量内容，而是向外界提供了生成文档向量的方法。DocumentVector类中只有2个变量，分别是TermWeighter和Term.TermIdComparator对象，分别实现计算权重和term数组的排序功能。
除了构造方法外，该类只有两个方法，分别是build和dotProduct，前者负责将Word数组形式的文档转化成文档向量（Term数组），后者负责两个向量的内乘，这里主要看build方法

public Term [] build( Word [] doc, boolean normalized) {        // Term 为 id-weight 表示形式        Hashtable<Integer, Term> terms = new Hashtable<Integer, Term>();        // 这部分是统计各terms出现次数        for ( Word w : doc ) {            Term t = terms.get(w.id);            if ( t == null ) {                t = new Term();                t.id = w.id;                t.weight = 0;                terms.put(t.id, t);            }            t.weight += 1;  // 出现次数+1        }        // 这部分是将hashtable转化成数组并使用TermWeighter计算权重        Term [] vec = new Term[terms.size()];        Enumeration<Term> en = terms.elements();//使用迭代的方法遍历，类似于Python中的迭代器        int i = 0;        double normalizer = 0;        while ( en.hasMoreElements() ) {            vec[i] = en.nextElement();            vec[i].weight =                 weighter.weight( vec[i].id, vec[i].weight, doc.length);            normalizer += vec[i].weight * vec[i].weight;            i++;        }        if ( normalized ) {  //如果normalized=true，则进行正则化计算            normalizer = Math.sqrt(normalizer);            for ( Term t : vec ) {                t.weight /= normalizer;            }        }        Arrays.sort(vec, idcomp); //这里通过TermIdComparator来实现对term数组的排序        return vec;    }

---

LinearBigramChineseClassifier类

这个类在Demo中出现过。虽然在demo中分类器是由BasicTextClassifier创建的，但是毫无疑问LinearBigramChineseClassifier是分类器的核心，BasicTextClassifier只是在此基础上的一层封装，实现了模型的导入导出，参数初始化等一些交互功能。

这个类继承自LiblinearTextClassifier，大部分内容由LiblinearTextClassifier实现，LiblinearTextClassifier是一个抽象类，因为其中有一个抽象的方法initWordSegment，而LinearBigramChineseClassifier实现了这个方法。

public class LinearBigramChineseTextClassifier extends LiblinearTextClassifier{  public LinearBigramChineseTextClassifier(int nclasses) {    super(nclasses);  }  public LinearBigramChineseTextClassifier(int nclasses, WordSegment seg ) {    super(nclasses, seg);  }  @Override  protected WordSegment initWordSegment() {    return new BilingualBigramWordSegment(); // 实现了父类中的抽象方法  }}