机器学习之支持向量机

感知机模型：

       只能处理非常特殊的问题（线性可分的数据集的分类问题）

没有考虑泛化能力

 

线性可分概念：

 后期补上

 

损失函数的几何解释：

       损失函数 = 所有被误分类的样本点到当前分离平面的相对距离的总和

 

感知机算法：

       梯度下降法

 

学习速率/步长：损失函数求导后沿着梯度下降的方向，每次迭代迈进的步长

 

三种梯度下降法（最速下降法）：

       随机梯度下降法（SGD）：每个迭代中只使用一个样本来进行参数更新

       小批量梯度下降法（MBGD、）：每个迭代中同时选用多个样本更新参数

       批量梯度下降法（BGD）：每个迭代中同时选用所有样本更新参数

 

梯度下降法：

       求解无约束最优化问题的最常用的手段之一，实现过程简单高效。

核心：求导，求函数的梯度。

 

梯度下降算法：

后期补上

 

 

感知机算法的对偶形式：

       拉格朗日对偶性：

             后期补上

 

 

 

 

支持向量机(Support Vector Machine)：

 

函数间隔：后期补上

 

几何间隔：描述向量到超平面的几何距离

 

SVM算法：最大化几何间隔

 

线性SVM算法：

       引入间隔最大化的概念增强模型的泛化能力。

 

SVM算法的对偶形式：后期补上

 

SVM的训练：后期补上

      

 

最小最优化算法（SMO）：

       每次迭代中专注于只有两个变量的优化问题，以期望在可以接受的时间内得到一个较优解

 

 

 

非线性算法：

       利用核技巧能使将线性算法升级为非线性算法

 

核方法：注重原理

核技巧：注重实际应用

 

核技巧：合理性、普适性、高效性

       将一个低维的线性不可分的数据映射到一个高维的空间，并期望映射后的数据在高维空间里是线性可分的

 

 

核感知机算法：

 后期补上

 

核SMO算法：

 后期补上

 

核SVM：

 后期补上

 

 

支持向量回归：

 后期补上