NLTK学习笔记——Classify模块(1)

来源:互联网 发布:用友软件打印凭证设置 编辑:程序博客网 时间:2024/05/21 06:19
前言:在NLTK中讲分类和标注的是第5、6两章,这里把两个章节整合了一下。本文主要是知识点的笔记,在《NLTK学习笔记——分类和标注(2)》中进行实战的介绍。
  1. str2tuple()
    从表示一个已标注的标识符的标准字符串创建一个这样的特殊元组 
  2. print wordlist.tabulate();
    按词频降序输出所有的词,如:
  3. 有监督的分类过程
  4. 官方例子特征:最后一个字母;特征可能值:26个字母
    本例特征:词数量;特征可能值:一系列职位中的词
  5. 分类任务中,标签集是预先定义好的
  6. apply_features(feature_func,toks,labeled=None)
    3个参数:
    fearure_func:特征提取器的函数名
    toks:特征提取函数的传参,也是一系列待提取特征的语句
  7. 过拟合问题
    如果对样本数据拟定了太多的特征,对于样本数据而言会完全匹配,错误率会很小。然而对于整个语料而言,测试数据分类准确度很差。过拟合问题往往是由于训练数据少等原因造成的。

0 0