机器学习算法学习计划

学习机器学习必掌握的几种算法

 

v 学习机器学习算法的目的

    了解常用算法的基本思想和大概流程，懂得这些算法的理论过程，非常熟悉怎样使用它，知道算法的优缺点，知道在什么场合使用什么算法，掌握根据使用的情景进行调参的能力。

 

v 学习机器学习算法的方法

   阅读常用算法，多推导算法的理论过程，找到算法的实现代码、跑一跑、根据设定情景去修改参数。多学习、多思考、多实践，做到理论和实践的结合。

 

v 机器学习算法分类

根据机器学习所要解决的问题本身来分类，可以分为有监督学习、无监督学习和半监督学习。

l 有监督学习

在这类问题中，给定的训练样本中，每个样本的输入X都对应一个确定的结果Y（称为有标签），我们需要训练出一个模型（数学上看是X→Y的映射关系F），在未知的样本X给定后，我们能对结果Y做出预测。典型的算法有用于分类问题的朴素贝叶斯、逻辑回归、支持向量机等；用于回归问题的线性回归等。

l 无监督学习

    在这类问题中，给定的训练样本中，只有一系列的样本，对每个样本的输入X我们不知道对应的结果Y（称为无标签）。而我们需要做的事情是，在一些样本中抽取出通用的规则，即学习数据的组织结构。典型的算法有关联规则和聚类算法。

l 半监督学习

    在这类问题中，给定的训练样本中，有一部分有标签，有一部分没有。而我们需要做的事情是，想学习出数据组织结构的同时，也能做相应的预测。典型的算法有自训练（自我培训）、直推学习（推式学习）、生成式模型（生成模型）等。

最常见的是前两种问题。对应的一些算法如下：

 

Unsupervised（无监督）

Supervised（有监督）

 

Contious

(连续变量)

Clusting&Dimentionality reduction

（聚类和降维）

l SVD(奇异值分解，数据压缩)

l PCA(提取数据特征/降维)

l K-means（硬聚类，基于距离）

Regression（回归）

l Linear（线性）

l Polynomial（多项式）

Decision tree（决策树）

Random forest

 

 

Categorical

(分类变量)

Association Analysis

(关联分析)

l Aprioro(挖掘关联，频繁项集)

l FP-Growth（频繁模式树）

Classification（分类算法）

l KNN(临近算法)

l Trees

l LogisticRegression

l Naive-Bayes（分类器）

l SVM（支持向量机）

Hidden Markov Model

（用于处理语音信号）

【注】：最常见的机器学习问题为分类问题和回归问题，最常用算法也是解决这两类问题的算法。

 

下面介绍常用的机器学习算法：

l 回归算法

回归算法是一种通过最小化预测值与实际结果值之间的差距，而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测有线性回归等，而对于离散值/类别预测，我们也可以把逻辑回归等也视作回归算法的一种，常见的回归算法如下：

①　普通最小二乘回归（OLSR）

②　线性回归

③　Logistic回归

④　逐步回归

⑤　当地估计平滑散点图（黄土）

⑥　多元自适应回归样条（MARS）

l 基于实例的算法
这里所谓的基于实例的算法，我指的是我们最后建成的模型，对原始数据样本实例依旧有很强的依赖性。这类算法在做预测决策时，一般都是使用某类相似度准则去比对待预测的样本和原始样本的相近度，再给出相应的预测结果常见的基于实例的算法有：

a. K-最近邻（KNN）

b. 学习矢量量化（LVQ）

c. 自组织映射（SOM）

d. 局部加权学习（LWL）

l 决策树类算法
决策树类算法，会基于原始数据特征，构建一颗包含很多决策路径的树。预测阶段选择路径进行决策常见的决策树算法包括。：

①　分类回归树（CART）

②　迭代Dichotomiser 3（ID3）

③　C4.5和C5.0（不同版本的强大方法）

④　卡方自动交互检测（CHAID）

⑤　M5

⑥　有条件的决策树

l 贝叶斯类算法
                           
这里说的贝叶斯类算法，指的是在分类和回归问题中，隐含使用了贝叶斯原理的算法包括：

a. 朴素贝叶斯

b. 高斯朴素贝叶斯

c. 多项朴素贝叶斯

d. 平均一依赖性估计（奥德）

e. 贝叶斯网络（BBN）

f. 贝叶斯网络（BN）

l 聚类算法
                            
聚类算法做的事情是，把输入样本聚成围绕一些中心的「数据团」，以发现数据分布结构的一些规律常用的聚类算法包括：

①　K-均值

②　分层聚类

③　后市展望Maximisation（EM）

l 关联规则算法（关联规则学习算法）

关联规则算法是这样一类算法：它试图抽取出，最能解释观察到的训练样本之间关联关系的规则，也就是获取一个事件和其他事件之间依赖或关联的知识，常见的关联规则算法有：

a. apriori算法

b. 怡亨算法

 

l 人工神经网络类算法（神经网络算法）
这是受人脑神经元工作方式启发而构造的一类算法。需要提到的一点是，我把「深度学习」单拎出来了，这里说的人工神经网络偏向于更传统的感知算法，主要包括：

①　感知

②　反向传播

③　径向基函数网络（RBFN）

l 深度学习
深度学习是近年来非常火的机器学习领域，相对于上面列的人工神经网络算法，它通常情况下，有着更深的层次和更复杂的结构。最常见的深度学习算法包括：

a. 深玻尔兹曼机（DBM）

b. 坚定信念网络（DBN）

c. 卷积神经网络（CNN）

d. 堆叠自动编码器

l 降维算法
                                

从某种程度上说，降维算法和聚类其实有点类似，因为它也在试图发现原始训练数据的固有结构，但是降维算法在试图，用更少的信息（更低维的信息）总结和描述出原始信息的大部分内容。  
    有意思的是，降维算法一般在数据的可视化，或者是降低数据计算空间有很大的作用。它作为一种机器学习的算法，很多时候用它先处理数据，再灌入别的机器学习算法中。主要的降维算法包括：

①　主成分分析（PCA）

②　主成分回归（PCR）

③　偏最小二乘回归（PLSR）

④　萨蒙映射

⑤　多维尺度（MDS）

⑥　线性判别分析（LDA）

⑦　混合判别分析（MDA）

⑧　二次判别分析（QDA）

⑨　灵活的判别分析（FDA）

l 模型融合算法（合奏算法）
严格意义上来说，这不算是一种机器学习算法，而更像是一种优化手段/策略，它通常是结合多个简单的弱机器学习算法，去做更可靠的决策。拿分类问题举个例，直观的理解，就是单个分类器的分类是可能出错，不可靠的，但是如果多个分类器投票，那可靠度就会高很多常用的模型融合增强方法包括：

a. 随机森林

b. 推进

c. 自举聚合（套袋）

d. AdaBoost的

e. 堆叠泛化（混合）

f. 梯度推进机（GBM）

g. 梯度提振回归树（GBRT）

 

v 机器学习算法使用图谱

scikit学习作为一个丰富的Python的机器学习库，实现了绝大多数机器学习的算法，既然讲机器学习，我们就用机器学习的语言来解释一下，这是针对实际应用场景的各种条件限制，对scikit学习里完成的算法构建的一颗决策树，每一组条件都是对应一条路径，能找到相对较为合适的一些解决方法，具体如下：(请自行放大)

 

首先样本量如果非常少的话，其实所有的机器学习算法都没有办法从里面「学到」通用的规则和模式，所以多弄点数据是王道。然后根据问题是有/无监督学习和连续值/离散值预测，分成了分类、聚类、回归状语从句、维度约减四个方法类，每个类里根据具体情况的不同，又有不同的处理方法。

 

v 机器学习问题解决思路

上面过了一遍机器学习的若干算法，下面我们试着总结在拿到一个实际问题的时候，如果着手使用机器学习算法去解决问题，其中的一些注意点以及核心思路。主要包括以下内容：

u 拿到数据后怎么了解数据（可视化）

u 选择最贴切的机器学习算法

u 定位模型状态（过/欠拟合）以及解决方法

u 大量级的数据的特征分析与可视化

u 各种损失函数（损失函数）的优缺点及如何选择

【注】这里写的这个小教程，主要是作为一个通用的建议和指导方案，你不一定要严格按照这个流程解决机器学习问题。

 

v 重点掌握

   机器学习里的算法多如牛毛，肯定不可能一一掌握，重点掌握以下几种算法即可。

 

 

l 朴素贝叶斯

　有以下几个地方需要注意：

1. 如果给出的特征向量长度可能不同，这是需要归一化为同长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。

2. 计算公式如下：

 　　

　　其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是 的计算方法，而由朴素贝叶斯的前提假设可知，= ，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本中所有特征出现次数的总和。

3. 如果 中的某一项为0，则其联合概率的乘积也可能为0，即2中公式的分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k，术语上叫做laplace光滑, 分母加k的原因是使之满足全概率公式）。

　　朴素贝叶斯的优点：

　　对小规模的数据表现很好，适合多分类任务，适合增量式训练。

　　缺点：

对输入数据的表达形式很敏感。

l 决策树

　　决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。

　　信息熵的计算公式如下:

 　　

　　其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。

　　现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。

　　决策树的优点：

　　计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征；

　　缺点：

　　容易过拟合（后续出现了随机森林，减小了过拟合现象）；

l Logistic回归

Logistic是用来分类的，是一种线性分类器，需要注意的地方有：

1. logistic函数表达式为：

 　　

　　其导数形式为：

 　　

2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为：

 　　

　　到整个样本的后验概率：

 　　

　　其中：

 　　

　　通过对数进一步化简为：

 　　

3. 其实它的loss function为-l(θ)，因此我们需使loss function最小，可采用梯度下降法得到。梯度下降法公式为:

 　　

　　

Logistic回归优点：

1、实现简单；

2、分类时计算量非常小，速度很快，存储资源低；

　　缺点：

1、容易欠拟合，一般准确度不太高

2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分。

l 线性回归

　线性回归才是真正用于回归的，而不像logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：

 　　

　　而在LWLR（局部加权线性回归）中，参数的计算表达式为:

 　　

　　因为此时优化的是：

 　　

　　由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

　　线性回归优点：

　　实现简单，计算简单；

　　缺点：

　　不能拟合非线性数据；

l KNN算法

KNN即最近邻算法，其主要过程为：

1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；

2. 对上面所有的距离值进行排序；

3. 选前k个最小距离的样本；

4. 根据这k个样本的标签进行投票，得到最后的分类类别；

　　如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。

　　近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

【注】：马氏距离一定要先给出样本集的统计性质，比如均值向量，协方差矩阵等。关于马氏距离的介绍如下

 　　

KNN算法的优点：

1. 思想简单，理论成熟，既可以用来做分类也可以用来做回归；

2. 可用于非线性分类；

3. 训练时间复杂度为O(n)；

4. 准确度高，对数据没有假设，对outlier不敏感；

　　缺点：

1. 计算量大；

2. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

3. 需要大量的内存；

 

l SVM

　要学会如何使用libsvm以及一些参数的调节经验，另外需要理清楚svm算法的一些思路：

1. svm中的最优分类面是对所有样本的几何裕量最大（为什么要选择最大间隔分类器，请从数学角度上说明？网易深度学习岗位面试过程中有被问到。答案就是几何间隔与样本的误分次数间存在关系： ，其中的分母就是样本到分类间隔距离，分子中的R是所有样本中的最长向量值），即：

 　　

　　经过一系列推导可得为优化下面原始目标：

　　

2. 下面来看看拉格朗日理论：

　　

　　可以将1中的优化目标转换为拉格朗日的形式（通过各种对偶优化，KKD条件），最后目标函数为：

 　　

　　我们只需要最小化上述目标函数，其中的α为原始优化问题中的不等式约束拉格朗日系数。

3. 对2中最后的式子分别w和b求导可得：

　　

　　 

　　由上面第1式子可以知道，如果我们优化出了α，则直接可以求出w了，即模型的参数搞定。而上面第2个式子可以作为后续优化的一个约束条件。

4. 对2中最后一个目标函数用对偶优化理论可以转换为优化下面的目标函数：

　　

　　而这个函数可以用常用的优化方法求得α，进而求得w和b。

5. 按照道理，svm简单理论应该到此结束。不过还是要补充一点，即在预测时有：

 　　

　　那个尖括号我们可以用核函数代替，这也是svm经常和核函数扯在一起的原因。

6. 最后是关于松弛变量的引入，因此原始的目标优化公式为：

 　　

　　此时对应的对偶优化公式为：

 　　

　　与前面的相比只是α多了个上界。

SVM算法优点：

　　可用于线性/非线性分类，也可以用于回归；

　　低泛化误差；

　　容易解释；

　　计算复杂度较低；

　　缺点：

　　对参数和核函数的选择比较敏感；

　　原始的SVM只比较擅长处理二分类问题；

l Boosting

主要以Adaboost为例，首先来看看Adaboost的流程图，如下：

 　　

　　从图中可以看到，在训练过程中我们需要训练出多个弱分类器（图中为3个），每个弱分类器是由不同权重的样本（图中为5个训练样本）训练得到（其中第一个弱分类器对应输入样本的权值是一样的），而每个弱分类器对最终分类结果的作用也不同，是通过加权平均输出的，权值见上图中三角形里面的数值。那么这些弱分类器和其对应的权值是怎样训练出来的呢？

　　下面通过一个例子来简单说明。

　　书中（machine learning in action）假设的是5个训练样本，每个训练样本的维度为2，在训练第一个分类器时5个样本的权重各为0.2. 注意这里样本的权值和最终训练的弱分类器组对应的权值α是不同的，样本的权重只在训练过程中用到，而α在训练过程和测试过程都有用到。

　　现在假设弱分类器是带一个节点的简单决策树，该决策树会选择2个属性（假设只有2个属性）的一个，然后计算出这个属性中的最佳值用来分类。

Adaboost的简单版本训练过程如下：

1. 训练第一个分类器，样本的权值D为相同的均值。通过一个弱分类器，得到这5个样本（请对应书中的例子来看，依旧是machine learning in action）的分类预测标签。与给出的样本真实标签对比，就可能出现误差(即错误)。如果某个样本预测错误，则它对应的错误值为该样本的权重，如果分类正确，则错误值为0. 最后累加5个样本的错误率之和，记为ε。

2. 通过ε来计算该弱分类器的权重α，公式如下：

 　　

3. 通过α来计算训练下一个弱分类器样本的权重D，如果对应样本分类正确，则减小该样本的权重，公式为：

 　　

　　如果样本分类错误，则增加该样本的权重，公式为：

 　　

4. 循环步骤1,2,3来继续训练多个分类器，只是其D值不同而已。

　　测试过程如下：

　　输入一个样本到训练好的每个弱分类中，则每个弱分类都对应一个输出标签，然后该标签乘以对应的α，最后求和得到值的符号即为预测标签值。

Boosting算法的优点：

　　低泛化误差；

　　容易实现，分类准确率较高，没有太多参数可以调；

　　缺点：

　　对outlier比较敏感；

 

 

l 聚类

　根据聚类思想划分：

1. 基于划分的聚类:

K-means, k-medoids(每一个类别中找一个样本点来代表),CLARANS.

k-means是使下面的表达式值最小：

 　　

 k-means算法的优点：

　　（1）k-means算法是解决聚类问题的一种经典算法，算法简单、快速。

　　（2）对处理大数据集，该算法是相对可伸缩的和高效率的，因为它的复杂度大约是O(nkt)，其中n是所有对象的数目，k是簇的数目,t是迭代的次数。通常k<<n。这个算法通常局部收敛。

　　（3）算法尝试找出使平方误差函数值最小的k个划分。当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好。

 缺点：

　　（1）k-平均方法只有在簇的平均值被定义的情况下才能使用，且对有些分类属性的数据不适合。

　　（2）要求用户必须事先给出要生成的簇的数目k。

　　（3）对初值敏感，对于不同的初始值，可能会导致不同的聚类结果。

　　（4）不适合于发现非凸面形状的簇，或者大小差别很大的簇。

　　（5）对于"噪声"和孤立点数据敏感，少量的该类数据能够对平均值产生极大影响。

2. 基于层次的聚类：

　　自底向上的凝聚方法，比如AGNES。

　　自上向下的分裂方法，比如DIANA。

3. 基于密度的聚类：

DBSACN,OPTICS,BIRCH(CF-Tree),CURE.

4. 基于网格的方法：

STING, WaveCluster.

5. 基于模型的聚类：

EM,SOM,COBWEB.

　　【注】：以上这些算法的简介可参考聚类（百度百科）。

l 推荐系统

　　推荐系统的实现主要分为两个方面：基于内容的实现和协同滤波的实现。

　　基于内容的实现：

　　不同人对不同电影的评分这个例子，可以看做是一个普通的回归问题，因此每部电影都需要提前提取出一个特征向量(即x值)，然后针对每个用户建模，即每个用户打的分值作为y值，利用这些已有的分值y和电影特征值x就可以训练回归模型了(最常见的就是线性回归)。这样就可以预测那些用户没有评分的电影的分数。（值得注意的是需对每个用户都建立他自己的回归模型）

　　从另一个角度来看，也可以是先给定每个用户对某种电影的喜好程度（即权值），然后学出每部电影的特征，最后采用回归来预测那些没有被评分的电影。

当然还可以是同时优化得到每个用户对不同类型电影的热爱程度以及每部电影的特征。【注】具体可以参考Ng在coursera上的ml教程：https://www.coursera.org/course/ml

　　基于协同滤波的实现：

　　协同滤波（CF）可以看做是一个分类问题，也可以看做是矩阵分解问题。协同滤波主要是基于每个人自己的喜好都类似这一特征，它不依赖于个人的基本信息。比如刚刚那个电影评分的例子中，预测那些没有被评分的电影的分数只依赖于已经打分的那些分数，并不需要去学习那些电影的特征。

SVD将矩阵分解为三个矩阵的乘积，公式如下所示：

 　　

　　中间的矩阵sigma为对角矩阵，对角元素的值为Data矩阵的奇异值(注意奇异值和特征值是不同的)，且已经从大到小排列好了。即使去掉特征值小的那些特征，依然可以很好的重构出原始矩阵。如下图所示：

　　

　　其中更深的颜色代表去掉小特征值重构时的三个矩阵。

　　果m代表商品的个数，n代表用户的个数，则U矩阵的每一行代表商品的属性，现在通过降维U矩阵（取深色部分）后，每一个商品的属性可以用更低的维度表示（假设为k维）。这样当新来一个用户的商品推荐向量X，则可以根据公式X'*U1*inv(S1)得到一个k维的向量，然后在V’中寻找最相似的那一个用户（相似度测量可用余弦公式等），根据这个用户的评分来推荐（主要是推荐新用户未打分的那些商品）。具体例子可以参考网页：SVD在推荐系统中的应用。

　　【注】：另外关于SVD分解后每个矩阵的实际含义可以参考google吴军的《数学之美》一书（不过个人感觉吴军解释UV两个矩阵时好像弄反了，不知道大家怎样认为）。或者参考machine learning in action其中的svd章节。

 

l pLSA

pLSA由LSA发展过来，而早期LSA的实现主要是通过SVD分解。pLSA的模型图如下：

 　　

公式中的意义如下：　

　

【注】：具体可以参考2010龙星计划：机器学习中对应的主题模型那一讲。

 

l LDA

　主题模型，概率图如下：

 　　

　　和pLSA不同的是LDA中假设了很多先验分布，且一般参数的先验分布都假设为Dirichlet分布，其原因是共轭分布时先验概率和后验概率的形式相同。

l GDBT

     GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，好像在阿里内部用得比较多（所以阿里算法岗位面试时可能会问到），它是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的输出结果累加起来就是最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

GBDT是回归树，不是分类树。其核心就在于，每一棵树是从之前所有树的残差中来学习的。为了防止过拟合，和Adaboosting一样，也加入了boosting这一项。

【注】：关于GDBT的介绍可以可以参考：GBDT（MART） 迭代决策树入门教程 | 简介。

l Regularization

　　作用是（网易电话面试时有问到）：

1. 数值上更容易求解；

2. 特征数目太大时更稳定；

3. 控制模型的复杂度，光滑性。复杂性越小且越光滑的目标函数泛化能力越强。而加入规则项能使目标函数复杂度减小，且更光滑。

4. 减小参数空间；参数空间越小，复杂度越低。

5. 系数越小，模型越简单，而模型越简单则泛化能力越强（Ng宏观上给出的解释）。

6. 可以看成是权值的高斯先验。 

l 异常检测

　可以估计样本的密度函数，对于新样本直接计算其密度，如果密度值小于某一阈值，则表示该样本异常。而密度函数一般采用多维的高斯分布。如果样本有n维，则每一维的特征都可以看作是符合高斯分布的，即使这些特征可视化出来不太符合高斯分布，也可以对该特征进行数学转换让其看起来像高斯分布，比如说x=log(x+c), x=x^(1/c)等。异常检测的算法流程如下：

 　　

 　其中的ε也是通过交叉验证得到的，也就是说在进行异常检测时，前面的p(x)的学习是用的无监督，后面的参数ε学习是用的有监督。那么为什么不全部使用普通有监督的方法来学习呢（即把它看做是一个普通的二分类问题）？主要是因为在异常检测中，异常的样本数量非常少而正常样本数量非常多，因此不足以学习到好的异常行为模型的参数，因为后面新来的异常样本可能完全是与训练样本中的模式不同。

　　另外，上面是将特征的每一维看成是相互独立的高斯分布，其实这样的近似并不是最好的，但是它的计算量较小，因此也常被使用。更好的方法应该是将特征拟合成多维高斯分布，这时有特征之间的相关性，但随之计算量会变复杂，且样本的协方差矩阵还可能出现不可逆的情况（主要在样本数比特征数小，或者样本特征维数之间有线性关系时）。

【注】上面的内容可以参考Ng的https://www.coursera.org/course/ml

l EM算法

　　有时候因为样本的产生和隐含变量有关（隐含变量是不能观察的），而求模型的参数时一般采用最大似然估计，由于含有了隐含变量，所以对似然函数参数求导是求不出来的，这时可以采用EM算法来求模型的参数的（对应模型参数个数可能有多个），EM算法一般分为2步：

　　E步：选取一组参数，求出在该参数下隐含变量的条件概率值；

M步：结合E步求出的隐含变量条件概率，求出似然函数下界函数（本质上是某个期望函数）的最大值。

　　重复上面2步直至收敛。

　　公式如下所示：

 

M步公式中下界函数的推导过程：

 　　

EM算法一个常见的例子就是GMM模型，每个样本都有可能由k个高斯产生，只不过由每个高斯产生的概率不同而已，因此每个样本都有对应的高斯分布（k个中的某一个），此时的隐含变量就是每个样本对应的某个高斯分布。

GMM的E步公式如下（计算每个样本对应每个高斯的概率）：

 　　

　　更具体的计算公式为：

　　

M步公式如下（计算每个高斯的比重，均值，方差这3个参数）：

 　　

【注】：关于EM算法可以参考Ng的cs229课程资料，或者网易公开课、斯坦福大学公开课、机器学习课程。

l Apriori

Apriori是关联分析中比较早的一种方法，主要用来挖掘那些频繁项集合。其思想是：

1. 如果一个项目集合不是频繁集合，那么任何包含它的项目集合也一定不是频繁集合；

2. 如果一个项目集合是频繁集合，那么它的任何非空子集也是频繁集合；

Aprioir需要扫描项目表多遍，从一个项目开始扫描，舍去掉那些不是频繁的项目，得到的集合称为L，然后对L中的每个元素进行自组合，生成比上次扫描多一个项目的集合，该集合称为C，接着又扫描去掉那些非频繁的项目，重复…

　　看下面这个例子：

　　元素项目表格：

 　　

　　如果每个步骤不去掉非频繁项目集，则其扫描过程的树形结构如下：

 　　

　　在其中某个过程中，可能出现非频繁的项目集，将其去掉（用阴影表示）为：

 　　

【注】：上面的内容主要参考的是machine learning in action这本书。

l FP Growth

FP Growth是一种比Apriori更高效的频繁项挖掘方法，它只需要扫描项目表2次。其中第1次扫描获得当个项目的频率，去掉不符合支持度要求的项，并对剩下的项排序。第2遍扫描是建立一颗FP-Tree(frequent-patten tree)。

　　接下来的工作就是在FP-Tree上进行挖掘。

　　比如说有下表：

 　　

　　它所对应的FP_Tree如下：

 　　

　　然后从频率最小的单项P开始，找出P的条件模式基，用构造FP_Tree同样的方法来构造P的条件模式基的FP_Tree，在这棵树上找出包含P的频繁项集。

　　依次从m,b,a,c,f的条件模式基上挖掘频繁项集，有些项需要递归的去挖掘，比较麻烦，比如m节点，具体的过程可以参考博客：Frequent Pattern 挖掘之二(FP Growth算法)，里面讲得很详细。

 

v 写在最后的话

  本文在开篇就明确了学习机器学习算法的目标、方法，有助于树立正确的方向，正所谓“方向比努力正重要”；然后对机器学习算法进行了分类，有助于对机器学习算法有一个感性的认知；然后介绍了十七种必须掌握的常用算法的基本思想和注意点、优缺点，按照这个计划一一学习即可。网上还有学习机器学习必掌握的十大算法等，我看了一下，大体上是差不多的，不要好高骛远，选择一个版本即可。另外深度学习也是机器学习里比较火的领域，建议也不要一上来就奔着深度学习去，学习几种基本的算法，随着理解的加深，视野的开阔，再去选择相应的专攻领域即可。还有些人纠结于以后是从事自然语言处理还是语音识别等等方向，也最好再掌握了基本知识技能后再去选择，最后祝大家都能学有所成！

后面我会按照所列计划一一学习算法、调试算法，然后写一些经验贴，欢迎大家关注！

【注】本文通过两篇网络博文还有自己的一点粗浅理解整理而成，欢迎批评指正！

一：http://blog.csdn.net/zdy0_2004/article/details/50475822

二：http://www.cnblogs.com/tornadomeet/p/3395593.html