通过主动学习的方法进行自动语料标注
来源:互联网 发布:windows激活后不能退货 编辑:程序博客网 时间:2024/05/12 18:38
目前正在做句子主干提取方面的工作,主要方法是构建二分类器,提取句子分词之后每个词的特征来决定分词的取舍。由于需要标注大量的训练语料,采用人工的方法费时费力,于是采用主动学习的方法实现语料标注,我实现的步骤如下:
- 先对语料实现人工标注一部分
- 使用机器学习训练模型如SVM、LR对已经标注的语料训练,把为标注的语料作为测试集
- 为测试机样本产生标签及置信度(即标签的准确性的概率值)
- 通过观察为置信度设定一个阈值,当样本中的每个分词都满足这个阈值时,我们把这个自动标注好的测试样本加入到训练集中,在测试样本中取出这个样本
- 重复2-4步,直到剩余的测试样本中没有完全满足阈值的
输出剩余的测试样本
刚开始我觉得这种方法非常好,经过测试,大概20次迭代之后大概4/5的样本已经标注好了
经过导师指导发现这种方法并不可靠,因为你新添加的训练集也是之前训练集产生的,反复迭代只会过拟合。我们应该设定一个比较低的阈值,找到测试集中非常不确定的测试样本(所有这些测试样本的置信度很低),通常来说这些样本是最有“价值”的样本,我们对这一小部分采用人工标注,并放入到训练集中,反复几次。
0 0
- 通过主动学习的方法进行自动语料标注
- 通过主动学习的方法进行自动语料标注
- 自动构建文本分类标注语料的方法
- 【分享】细粒度的评论标注语料
- python nltk 统计语料的词性标注分布
- 情感分析系列之《利用BRAT进行中文情感分析语料标注》
- 你爱我吗?如何利用BRAT进行中文情感分析语料标注掌握玩家心声
- 北大 宾州树库 语料标注集
- 基于多特征集成的图像自动标注方法研究
- 十七、让机器做词性自动标注的具体方法
- 基于多标签学习的图像语义自动标注
- NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
- NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
- NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
- NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
- 一种没有语料字典的分词方法
- 一种没有语料字典的分词方法
- 张开旭:分词不是一个独立的任务,大量无标注语料是真正的金矿
- bzoj2463【博弈】
- Python高级编程(四)多线程
- java内部类读书笔记-链接到外部类
- 四大组件 — Activity显示样式
- 递推算法(顺推)- 斐波那契数列用C++实现
- 通过主动学习的方法进行自动语料标注
- 使用Libreswan配置ipsecvpn
- Cut The Cake
- HTML中的置换元素与非置换元素
- 四大组件 — BroadCastReceiver广播接收者
- 好老师
- 改变光标位置
- 方格选数
- Java综合框架<2>