一句话简单总结李航统计学习法各算法

K近邻：
选取样本集合中K个距离最近的数据中出现次数最多的分类，作为新数据的分类

native  bayes ：利用训练数据计算类的先验概率P（Y）和特征向量对应每一类的条件概率P（X|Y），计算联合概率分布P（X，Y），再计算测试集中每一个待分类语句在每一类的分类后验概率P（Y|X），选后验概率最大的作为其分类

决策树
首先找出最有判别力的属性，把样例分成多个子集，每个子集又选择最有判别力的属性进行划分，一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵决策树。信息增益（information gain），作为属性判别能力的度量，设计了构造决策树的递归算法

logistic回归：
首先找出最有判别力的属性，把样例分成多个子集，每个子集又选择最有判别力的属性进行划分，一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵决策树。信息增益（information gain），作为属性判别能力的度量，设计了构造决策树的递归算法

SVM：
确定一个超平面，使得这个超平面到样本集合（支持向量）的几何距离最大
SMO: 选取一对需更新的变量ai和aj，固定ai和aj以外的参数，求解对偶问题获得更新后的ai和aj。第一个变量ai是违背KKT条件程度最大的变量，第二个变量aj选择一个使目标函数增长最快的变量，即选取的两个变量所对应的样本之间间隔最大

AdaBoost：
通过迭代每次学习一个基本分类器，每次迭代中提高那些在前一轮迭代器中被错误分类的数据（特征）的权值，而降低那些被正确分类的数据的权值，最后将基本分类器线性组合为强可学习分类器。其中给分类误差率小的基本分类器较大的权值系数，分类误差率大的基本分类器较小的权值系数。

EM算法：是含有隐变量的概率模型极大似然估计或极大概率后验估计的迭代算法，每次迭代实际在求Q函数（E步）及其极大（M步）

隐马尔可夫模型：是关于时序的模型，初始状态概率向量PI和状态转移概率矩阵A确定了隐藏的马尔可夫链，并生成不可观测的状态序列，观测概率矩阵B确定了如何从状态生成观测序列。