统计算法学习梳理（二）

接下来的几种模型没有用，只是在学习书本里中提到。在此仅仅作为一个搬运工，然后结合自己的理解慢慢修改。

8，逻辑斯谛回归模型

1,回归分析。回归分析本质上就是一个函数估计的问题，就是找出因变量和自变量之间的因果关系。

2，逻辑斯谛回归（logistic regression）又叫对数回归，其本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射。即一般线性回归中认为：，而在逻辑斯谛回归中我们认为。（对于其它模型，很多从名字上就点理解一些，但对“逻辑斯谛回归”很是不解，为什么不直接说逻辑回归？按音译的话把逻辑两个换了以，不是技术男，个人愚见了，hh）

9，提升方法

在此完全引用三句话（学习资料4）：

1，提升方法是基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。通俗点说，就是”三个臭皮匠顶个诸葛亮”。

2，Leslie Valiant首先提出了“强可学习（strongly learnable）”和”弱可学习（weakly learnable）”的概念，并且指出：在概率近似正确（probably approximately correct, PAC）学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的，如果正确率不高，仅仅比随即猜测略好，那么就称这个概念是弱可学习的。

3，在学习中，如果已经发现了“弱学习算法”，那么能否将它提升（boost）为”强学习算法”。大家知道，发现弱学习算法通常比发现强学习算法容易得多。那么如何具体实施提升，便成为开发提升方法时所要解决的问题。关于提升方法的研究很多，有很多算法被提出。最具代表性的是AdaBoost算法（Adaptive Boosting Algorithm），可以说，AdaBoost实现了PAC的理想。

10，EM算法

1，EM算法是一种迭代算法，用于含有引变量的概率模型参数的极大似然估计，或极大后验概率估计。

2，EM算法每次迭代分为两步：E步，根据现有的模型参数，将观测数据输入到模型中进行计算，求期望；M步，重新计算调整模型参数，求极大。

11，感知机

1,感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。

2,感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。

12，条件随机场

1，条件随机场（conditional random fileld,CRF）是给定一组输入随机变量的条件下另一级输入随机变量的条件概率分布模型，其特点是假设输出变量构成马尔可夫随机场。

2，马尔可夫随机场，在一个研究空间域里，第个实例只它的邻居有关系，与其他的实例没有关系。

13，人工神经网络

在人工神经网络，看了一些资料，感觉吴军老师在《数学之美》中介绍的还不错，在这部分基本上都是书中内容。

首先是对吴军老师在书里所写的对学习人工神经时的感觉表示同意，这个词很唬人，更有拿这个词唬人的人，不然也有愿意讲但是让人听不明白的人。

人工神经网络本质上是一个有向图，只不过是个特殊的有向图。其特殊性概括为两点：1，图中所有节点都是分层的，每一层节点都可以通过有向弧指向上一层节点，但是同一层节点之间没有弧连接，且每个节点不能越过一层连接到上上层节点；2，第一弧上有一个值（或称权重），根据这些值，可以用一个非常简单的公式算出它们把指节点的值。

14，多维缩放

多维缩放就是把多维的数据降到低维空间但是仍然尽可能的保持原来数据之间的距离关系（高维下距离近的两点在低维下仍然近，远的仍然远）。

15，非负矩阵因式分解

可以将一组数值型的观测数据拆解成不同的分组。

算法要求输入多个样本数据，每个样本数据都是一个m维数值向量，首先把我们的数据集用矩阵的形式写出来，每一列是一个数据，而每一行是这些数据对应维度的数值。于是我们就有了一个大小为m*n的输入矩阵。而算法的目标就是将这个矩阵分解为另外两个非负矩阵的积。

16，优化算法

不同于之前的分类和聚类算法，优化的目的是尝试找到一个使成本函数输出最小化的值。这里主要包括两个算法：模拟退火算法和遗传算法。

学习资料： 

1，《统计学习方法》李航 

2，《集体智慧编程.Programming Collective Inteligence》

3，回归分析.博客园:http://www.cnblogs.com/zhangchaoyang/articles/2640700.html

4，http://www.sigvc.org/bbs/thread-727-1-1.html

5，《数学之美》

6，感知机模型.http://blog.csdn.net/qll125596718/article/details/8394186