mahout读书笔记 -- 聚类(6)
来源:互联网 发布:中国贸易条件数据 编辑:程序博客网 时间:2024/06/04 18:42
本部分主要关注文档向量化
VSM(vector space model)是文档向量化的通用方法,其做法是对于要向量化的所有文档,取出所有至少出现过一次的词,为每个词分配一个数字,这样对于每个文档,其向量就是每个词的出现次数组成的一个列表,词的出现次数就是术语term frequency,即TF,这个向量是一个sparse vector,因为1个文档所包含的词远小于所有文档包含的词
由于某些词在所有文档中都高频出现,如a,the等,这些词被称为stop words,如果不加处理,计算两个文档相似性时,这些词就起主要作用从而无法区分文档,解决方法是采用TF-IDF,其中的IDF是包含这个词的文档数的倒数,IDF不会关心每篇文档包含了多少次这个词,只关心是否包含
实际使用中,因为IDF可能十分小,这样算出来的值太小后影响精度,会对IDF进行处理后再和TF相乘,最终的结果是:
IDF= log( N/DF)
W = TF * log( N/DF)
其中N是文档总数,DF是Document Frequency即包含词的文档数
TF-IDF的一个问题是没有考虑词之间的关联性,LSI(latent semantic indexing)可以解决这一问题,但mahout目前并没有实现,而是采用了n-gram方法处理
成组的词就叫n-gram,2个叫2-gram,依此类推
n-gram有个问题是有大量无意义的组合,需要剔除,采用log-likelihood,在mahout里边DictionaryVectorizer可以实现这一功能,有个疑问是中文能否支持,有机会要研究下
- mahout读书笔记 -- 聚类(6)
- mahout读书笔记 -- 聚类(1)
- mahout读书笔记 -- 聚类(2)
- mahout读书笔记 -- 聚类(3)
- mahout读书笔记 -- 聚类(4)
- mahout读书笔记 -- 聚类(5)
- Mahout in action读书笔记&Mahout学习笔记
- Mahout聚类
- mahout聚类
- Mahout in Action 读书笔记chapter2 推荐系统
- Mahout in Action 读书笔记chapter4 进行推荐
- mahout之canopy聚类
- mahout之kmean聚类
- Mahout Canopy聚类
- Mahout K-means聚类
- Mahout Spectral聚类
- mahout系列----minhash聚类
- Mahout LDA 聚类
- 公钥加密的理解
- not found or not built by the last incremental link; performing full link类似问题的解析
- 网络发包
- 0001算法笔记——NP完全理论
- 码农的八荣八耻
- mahout读书笔记 -- 聚类(6)
- cgi简单介绍
- memcached全面剖析–2.理解memcached的内存存储
- 颜色检测工具
- 解决TabControl的BUG(涉及Framework4.0以下所有版本)
- OMCS 架构设计说明
- BIOS设置命令
- SAP ABAP如何隐藏你写的程序代码(危险,请小心谨慎)
- [python相关]try-exception异常处理