统计学习方法总结、应用对比

下面主要从模型、策略、算法、应用四方面来对10种统计学习方法，进行归类总结。

方法 模型 策略 算法 应用 感知机 超平面模型 极小化误分点距离 随机梯度下降法 二类分类 朴素贝叶斯法 对条件概率分布作条件独立性的假设 极大似然估计、极大后验概率估计 EM算法 多类分类 k近邻法 k,distance公式 多数决策（找出输入的k个最接近的点，看哪个类的点最多） k近邻算法 多类分类，回归 决策树 分类的树形结构 正则化极大似然估计 特征选择，生成，剪枝 多类分类，回归 逻辑斯谛回归 用逻辑斯谛分布表示条件概率分布 极大似然估计参数 最优化算法，如改进的迭代算法、拟牛顿法 多类分类 支持向量机 核技巧的超平面 极小化合页损失 序列最小最优化算法（smo） 二类分类 提升方法 弱分类组合 极小化加法模型的指数损失 前向分步算法 二类分类 EM算法 极大似然估计隐含层模型参数 极大似然估计 迭代算法 概率模型参数估计 隐马尔可夫模型 观测序列与状态序列的联合概率模型 极大似然估计，极大后验估计 EM算法 标注 条件随机场 与给定结点不相连的都不影响该点的条件概率 极大似然估计 最优化算法，如改进的迭代算法、拟牛顿法 标注

1.感知机
感知机，和支持向量很相似，但感知机只能适用于线性划分的场合，常用于 二类分类问题。