深入解析python版SVM源码系列(三)——计算样本的预测类别
来源:互联网 发布:开淘宝店流程图2017 编辑:程序博客网 时间:2024/05/17 05:55
系列(二)中,对于SMO算法中有一个重要的代码:计算样本的预测类别。如下:
- 1
- 1
注意:.T的优先级高于*, dataMatrix*dataMatrix[i,:].T 形成一个行为m,列为1的矩阵,
multiply(alphas,labelMat) 是两个m行,1列的矩阵对应元素乘积,结束后还是100行1列。aiyi
中间的*,矩阵乘法,有相加的作用。X.T*X
注意此处xi,yi,ai 而dataMatrix[i,:] 是x
矩阵运算的理解,求和问题利用A.T*B解决A为需要求和的i组成的一个矩阵。B里面也可以带i,或常量
我们知道原始的预测类别计算公式是用决策面的参数w和b表示的,那么为什么这里的貌似不一样呢?
原始的预测类别计算公式为:
其中w可以表示为:
然后分类函数可以转化为:
关于这个的解释,july博客上说的比较清晰:
这里的形式的有趣之处在于,对于新点 x的预测,只需要计算它与训练数据点的内积即可(<.>表示向量内积),这一点至关重要,是之后使用 Kernel 进行非线性推广的基本前提。
这样子的表示形式和上面代码就一致了。
这儿还有一个现象可以分析出来:哪些是支持向量。
答:alpha不等于0的为支持向量。
所谓 Supporting Vector 也在这里显示出来——事实上,所有非Supporting Vector 所对应的系数alpha都是等于零的,因此对于新点的内积计算实际上只要针对少量的“支持向量”而不是所有的训练数据即可。
为什么非支持向量对应的alpha等于零呢?直观上来理解的话,就是这些“后方”的点——正如我们之前分析过的一样,对超平面是没有影响的,由于分类完全有超平面决定,所以这些无关的点并不会参与分类问题的计算,因而也就不会产生任何影响了。
注意到如果 xi 是支持向量的话,上式中红颜色的部分是等于 0 的(因为支持向量的 functional margin 等于 1 ),而对于非支持向量来说,functional margin 会大于 1 ,因此红颜色部分是大于零的,而alpha_i又是非负的,为了满足最大化,必须alpha_i等于 0 。这也就是这些非Supporting Vector 的点的局限性。
所以,在我们运行SMO算法程序之后,可以根据这个特点求得支持向量,也就是alpha不等于0。
参考:http://blog.csdn.net/v_july_v/article/details/7624837
《Machine Learning in Action》
- 深入解析python版SVM源码系列(三)——计算样本的预测类别
- 深入解析python版SVM源码系列(三)——计算样本的预测类别
- 深入解析python版SVM源码系列(二)——简化版SMO算法
- 深入解析python版SVM源码系列(一)——添加数据库和绘制效果图
- 深入解析python版SVM源码系列(四)——SMO算法是如何更新的?
- 深入解析python版SVM
- Android源码解析系列第(三)篇---深入了解Android的消息机制
- Android源码解析Handler系列第(三)篇---深入了解Android的消息机制
- SVM—当样本数小于维度的时候
- 位置预测系列(三)
- jQuery深入之源码解析(三)——构造jQuery对象
- python情感预测(三)
- 深度解析RabbitMQ集群——超大规模高可用OpenStack平台核心技术深入解析系列高级篇(三)
- 深度解析RabbitMQ集群——超大规模高可用OpenStack平台核心技术深入解析系列高级篇(三)
- tensorflow学习:预测样本的分布(一)
- jQuery-1.9.1源码分析系列(三) Sizzle选择器引擎——词法解析
- jQuery-1.9.1源码分析系列(三) Sizzle选择器引擎——词法解析
- 基于SVM的股票预测 Python实现 附Github
- Xcode 8+安装Alcatraz插件管理器
- 02.java相关环境变量的配置
- java.lang.ClassNotFoundException: org.apache.taglibs.standard.tlv.JstlCoreTLV
- linux中在当前目录下找出占用空间最大的前10大文件
- mysql安装、卸载、修改密码
- 深入解析python版SVM源码系列(三)——计算样本的预测类别
- Machine Learning第十一讲[应用实例]
- 如果不知道MySQL当前使用配置文件(my.cnf)的路径的解决方法
- awk学习笔记整理
- 方差为平方的均值减去均值的平方
- IntelliJ IDEA 创建 hello world Java web Maven项目
- java代理模式与JDK代理解析
- 多路视频数据实时采集系统设计与实现
- TFS和FastDFS使用