降维技术zz
来源:互联网 发布:天津colour官网淘宝 编辑:程序博客网 时间:2024/04/30 00:48
降维技术
文本分类的一个核心难题就是特征空间的高维性,一个文档集中的特征项动辄就是上万维,这么高的维数特征不仅带来极高的计算复杂度,产生维度灾难,也给分类过程带来了大量的噪音,且容易产生过度拟合的问题,因而有必要简化原始的特征集,这种简化技术就是降维技术。 降维技术主要分成两大类:特征选择和特征提取。
特征选择又称独立评估法,其目的是滤除携带信息量较少的词,只保留对分类贡献较大的词。 在特征选择时一般都是利用某种评价函数,独立地对每个原始特征项进行评分,然后按分值的高低将它们排序,从中选取若干个分值最高的特征项,以达到减少总特征数的目的。 因此,评价函数的好坏是影响特征选择的关键问题。特征选择一般有:文档频率、信息增益、期望交叉熵、互信息、文本证据权、奇率、x2 统计量等。 [按此方式选择得到的前K个分量,组合起来并不一定就是最好的特征; 因为这K个特征之间通常存在相关]
特征提取又称综合评估法,它是将原有的特征集T 加以联系和转化以构建新特征集T'的过程,一般| T' |《| T | ,因而可达到降维的效果;特征提取的思想是:由于一词多义、多词一义的现象大量存在于文本信息中,导致文本的原始项可能不是文档内容表示的最佳维度。特征提取就是试图通过重构新项来避免上述问题。 一般有项聚类、潜在语义索引(LSI)、多维尺度变换、自组织特征映射等
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/javatalk/archive/2007/11/29/1906958.aspx
- 降维技术zz
- 条形码读取技术 -zz
- ActiveX技术简介(zz)
- [zz]什么是CDN技术
- ZZ:HBase技术介绍
- zz: 技术专家!
- P2P技术与应用 zz
- 个性化推荐技术漫谈(ZZ)
- 负载均衡相关技术[zz]
- 国内搜索引擎技术现状 zZ
- Javascript闭包技术[zz]
- zz Internet 技术演变图
- 怎样写技术博客zz
- H.264编码技术(zz)
- 计算机科学与技术反思录 (ZZ)
- 掌握 Linux 调试技术(ZZ)
- Autodesk面试技术题解答(zz)
- 谈一谈模拟浏览器登陆技术 zz
- Json 反序列化 .net 日期
- poj2528
- 对apache中并发控制参数prefork理解和调优
- 未找到Oracle客户端和网络组件
- 云安全3.0——给云计算数据中心用上特种兵装备!
- 降维技术zz
- javascript读写TEXT文本文件示例代码
- 归源功能液——让我的老公不再瘦
- 负载均衡服务器Session共享的解决方案(转)
- 80后的生存法则
- scanf()函数的用法和实践
- FreeBSD 8.1-RELEASE 官方正式发布
- 用好printf和scanf
- Android入门(9)AudioRecord和AudioTrack类的使用