集体智慧总结和使用范围归纳
来源:互联网 发布:mac系统10.11u盘制作 编辑:程序博客网 时间:2024/05/16 11:11
最近把集体智慧编程看完了,这里做一些总结:
朴素贝叶斯分类器:
简而言之,属于监督学习
训练
可以看到出现“举措”的文章表扬城管的几率会大一些,而出现“打砸”、“强拆”等次批评城管的几率会大一些。而“朋友圈”这个词可能会出现在任何一种态度的文章中。
分类
首先,贝叶斯的基本形式是:
P(态度 | 特征) = P(特征 | 态度) * P(态度) / P(特征)
而P(特征 | 态度)已经在上表中得到了,P(态度)取决于用户的样本(本例中是0.25),P(特征)是这个词在所有词中所占的比例。
那么P(态度 | 特征) 自然就可以得到了。
通俗来讲,如果我有一篇文章,里面包含了“砸烂”、“强拆”等词,那么P(表扬城管 | 砸烂、强拆)的概率估计不会太高吧。。。
优缺点:
优点:
训练和查询速度快;
对于增量式数据的应用场景较为适合,比如随时加入训练文章的样本;
便于理解和使用;
缺点:
最大缺点:这里假设每个特征都是相互独立的,但是如果遇到有联系的特征,贝叶斯会非常的不准确。比如:“河北“、”小贩”这两个词多次出现在了“批评城管”的文章中,因此占比重非常重,然而“河北”、“城管”确是全国典范,出现在“表扬城管”的文章中,但次数不多,那么按照贝叶斯的算法,只要出现和河北的文章基本上都是“批评城管”的。。。
简而言之,贝叶斯没有办法(或很麻烦)将特征之间的联系加入到计算中。
决策树分类器
简单来说,就是一个二叉树,每个分支都是由一个条件来判断,如果yes走分支1,no走分支2。然后分支1和分支2又会分别衍生出两个分支,这个过程直到确定出某个确定的结论。
训练
比如下面一组数据:
有两个变量,分别是声音传感器和压力传感器,我们可以先对声音进行划分:
钥匙敲门女主人女主人男主人男主人 陌生人可以看到基本上无法将类型清楚的分开,我们再以体重为特征区分:
55-58 or 77-80kg其他女主陌生人男主 女主 男主这显然是一个更好的区分(里面显然有个漏洞,后面会讲到带概率的决策树)。然而,对于大量的数据来言,区分是否清楚就没有这么明显了,所以,我们引入了熵的概念:
单个频率 = 单个结果 / 总的结果
熵 = ∑(单个频率 * log(单个频率))
求和是对所有的结果而言的。熵反映的是一个数据的纯度,如上表中“其他”的熵就是0(1*log(1))。
而判断使用哪个特征区分更加合适需要使用信息增益,熵也是为计算她服务的。
权重1 = 子集1大小 / 全集大小
权重2 = 子集2大小 / 全集大小
信息增益 = 总集的熵 - 权重1 * 子集1的熵 - 权重2 * 子集2的熵
信息增益越大说明特征越好,划分到最后也是判断不再产生信息增益为止。
优缺点:
最明显的优点就是:对数据的解释过程非常清晰,适合阅读,如果对数据分析的过程感兴趣,可以使用这种方法。
优点2:对于特征相互关系的分析非常准确,比如“钥匙声”和“55-58kg”同时出现时,女主的可能性就非常大,而单独的钥匙声不确定任何事。
缺点也是非常明显的,首先她对数值型的特征支持非常不好,会导致计算量大并准确率下降。
再者,就是他对于增量式的训练支持很差,换句话就是,每次新的数据她都要加入并对整个数据集进行重新训练,这时非常不现实的。
to be continue...
个人觉得《集体智慧编程》是一个对集体学习的小白来说入门的好书,可能他的内容有些过时,而且有些算法已经改进了许多并被集成到了函数库中,但是,这并不影响我们借鉴他对问题处理的思想,以及如何从O开始解决问题的思路。
- 集体智慧总结和使用范围归纳
- 集体智慧总结和使用范围归纳(二)
- 集体智慧总结和使用范围归纳(三)
- 集体智慧总结和使用范围归纳(四)
- 算法总结(集体编程智慧) - 分类
- 看《集体智慧编程》二三章总结
- 集体智慧编程错误总结第三章
- 集体智慧
- 集体智慧
- 算法总结(集体编程智慧) - 聚类、优化
- [总结]集体智慧编程中用到的数据评估模型
- 集体智慧编程第二三章学习总结
- 集体智慧编程第四章[搜索引擎与排名]总结
- 《集体智慧编程》第12章 算法总结 个人笔记
- 集体智慧编程第四章[搜索引擎与排名]总结
- 集体智慧编程——使用决策树发现潜在客户
- 【集体智慧编程 学习笔记】 Euclidean距离和Pearson相关系数
- 集体智慧编程(三)搜索和排名
- 我的投资案例(2)-阿丁特的股东,好狗狗的业务
- Spring中InitializingBean接口使用理解
- context:annotation-config配置和context:component-scan配置
- java keytool证书工具使用小结
- 【github】Merging an upstream repository into your fork
- 集体智慧总结和使用范围归纳
- oc调用swift
- Android接口回调机制
- git的自动补全的功能
- Jdbc事务以及Spring事务解惑
- PANIC: Could not open: AVD
- sourceTree最新版本下载
- Visual Studio 2010 出现关于ActivityLog.xml错误的解决方案
- 机器学习算法实现的演化