weka[9] - Naive Bayes

Naive Bayes就不做具体介绍了，很简单的一个模型。直接看代码

BuildClassify:

// can classifier handle the data?    getCapabilities().testWithFail(instances);    // remove instances with missing class    instances = new Instances(instances);    instances.deleteWithMissingClass();    m_NumClasses = instances.numClasses();    // Copy the instances    m_Instances = new Instances(instances);    // Discretize instances if required    if (m_UseDiscretization) {      m_Disc = new weka.filters.supervised.attribute.Discretize();      m_Disc.setInputFormat(m_Instances);      m_Instances = weka.filters.Filter.useFilter(m_Instances, m_Disc);    } else {      m_Disc = null;    }

前面还是老样子，预处理下。后面就是把样本属性值离散化一下。具体方法参考http://ijcai.org/Past%20Proceedings/IJCAI-93-VOL2/PDF/022.pdf

 // Reserve space for the distributions    m_Distributions = new Estimator[m_Instances.numAttributes() - 1]      [m_Instances.numClasses()];    m_ClassDistribution = new DiscreteEstimator(m_Instances.numClasses(),                                                 true);

m_Distributions存放的是P(C|x), m_Distributions存放的是P(C).

    int attIndex = 0;    Enumeration enu = m_Instances.enumerateAttributes();    while (enu.hasMoreElements()) {      Attribute attribute = (Attribute) enu.nextElement();      // If the attribute is numeric, determine the estimator       // numeric precision from differences between adjacent values      double numPrecision = DEFAULT_NUM_PRECISION;      if (attribute.type() == Attribute.NUMERIC) {m_Instances.sort(attribute);//按attribute将数据进行排序(从小到大)if ((m_Instances.numInstances() > 0)    && !m_Instances.instance(0).isMissing(attribute)) {  double lastVal = m_Instances.instance(0).value(attribute);//该属性的最小值  double currentVal, deltaSum = 0;  int distinct = 0;  for (int i = 1; i < m_Instances.numInstances(); i++) {    Instance currentInst = m_Instances.instance(i);    if (currentInst.isMissing(attribute)) {      break;//已经排好序，缺失放最后，意味着后面的数据该属性都缺失    }    currentVal = currentInst.value(attribute);//当前样本对应属性的值            //如果不是最小-lastVal    if (currentVal != lastVal) {      deltaSum += currentVal - lastVal;//deltaSum记录了最大值和最小值的差      lastVal = currentVal;      distinct++;//numeric的时候，该属性的不同取值个数    }  }  if (distinct > 0) {    numPrecision = deltaSum / distinct;  }}      }

上面这一段是为了得到numPrecision, 参考代码中的注释，可以知道，上面的deltaSum是该属性的最大差值。

这个numPrecision会在后面构造estimator的时候用到，如果是连续的属性，可以理解成分区的一个参数。

接着往下看

      for (int j = 0; j < m_Instances.numClasses(); j++) {switch (attribute.type()) {case Attribute.NUMERIC:   if (m_UseKernelEstimator) {    m_Distributions[attIndex][j] =       new KernelEstimator(numPrecision);  } else {    m_Distributions[attIndex][j] =       new NormalEstimator(numPrecision);  }  break;case Attribute.NOMINAL:  m_Distributions[attIndex][j] =     new DiscreteEstimator(attribute.numValues(), true);  break;default:  throw new Exception("Attribute type unknown to NaiveBayes");}      }      attIndex++;    

如果属性是连续的，再选择用kernel的还是normal的。 这里的构造需要用到numPrecision. 具体的这个estimator如何构造，参考weka.estimator这个package。

如果属性是离散的，直接调用离散的estimator。

这里的这个attIndex，对应的是最外层while循环的。

 // Compute counts    Enumeration enumInsts = m_Instances.enumerateInstances();    while (enumInsts.hasMoreElements()) {      Instance instance = (Instance) enumInsts.nextElement();      updateClassifier(instance);    }

下面就是增量式学习了，每个样本调用updataClassifier更新结果。

  public void updateClassifier(Instance instance) throws Exception {    if (!instance.classIsMissing()) {      Enumeration enumAtts = m_Instances.enumerateAttributes();      int attIndex = 0;      while (enumAtts.hasMoreElements()) {Attribute attribute = (Attribute) enumAtts.nextElement();if (!instance.isMissing(attribute)) {  m_Distributions[attIndex][(int)instance.classValue()].            addValue(instance.value(attribute), instance.weight());}attIndex++;      }      m_ClassDistribution.addValue(instance.classValue(),                                   instance.weight());    }  }

这里很清楚，我们每次更新的是

1.m_Distribution： 对应的是P(x|C)

2.m_ClassDistribution: 对应的是P(C)

最后，作为总结的一句话，Naive Bayes要求每个属性独立，这个条件太强，导致他的效果不是很好。下一篇看看Bayes Network。