算法的简单归类

算法的简单归类–看完这些顿时感觉算法不再那么神秘了

无论是机器学习、模式识别、数据挖掘、统计学习、计算机视觉、语音识别、自然语言处理都涉及到算法。

---

1.树：决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

ID3算法： http://www.ppvke.com/Blog/archives/22403

决策树： http://www.ppvke.com/Blog/archives/25042

基于 R 语言和 SPSS 的决策树算法介绍及应用：http://www.ppvke.com/Blog/archives/22414

 

机器学习从入门到放弃之决策树算法：http://www.ppvke.com/Blog/archives/33618

算法杂货铺——分类算法之决策树(Decision tree)：http://www.ppvke.com/Blog/archives/25328

集体智慧编程——决策树建模（上）：http://www.ppvke.com/Blog/archives/25765

集体智慧编程——决策树建模（下）：http://www.ppvke.com/Blog/archives/25770

---

2.回归：在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。

这七种回归分析技术，学了不后悔~：http://www.ppvke.com/Blog/archives/28055

说说高斯过程回归：http://www.ppvke.com/Blog/archives/24049

简单的R逻辑回归向导：http://www.ppvke.com/Blog/archives/25196

---

3.贝叶斯：贝叶斯定理用于投资、决策、分析是在已知相关项目B的资料，而缺乏论证项目A的直接资料时，通过对B项目的有关状态及发生概率分析推导A项目的状态及发生概率。贝叶斯公式(发表于1763年)为: P(H[i]/A)=P(H[i])*P(A│H[i]) / {P(H[1])*P(A│H[1]) +P(H[2])*P(A│H[2])+…+P(H[n])*P(A│H[n])}

算法杂货铺——分类算法之贝叶斯网络(Bayesian networks)：http://www.ppvke.com/Blog/archives/25306

算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)：http://www.ppvke.com/Blog/archives/25211

朴素贝叶斯法：http://www.ppvke.com/Blog/archives/25093

多种贝叶斯模型构建及文本分类的实现：http://www.ppvke.com/Blog/archives/22735

朴素贝叶斯分类之垃圾短信识别：http://www.ppvke.com/Blog/archives/29033

R语言与数据分析之三：分类算法1：http://www.ppvke.com/Blog/archives/29836

---

4 svm：支持向量机算法是诞生于统计学习界，同时在机器学习界大放光彩的经典算法。

支持向量机：http://www.ppvke.com/Blog/archives/24242

---

5 神经网络：神经网络(也称之为人工神经网络，ANN)算法是80年代机器学习界非常流行的算法，不过在90年代中途衰落。现在，携着“深度学习”之势，神经网络重装归来，重新成为最强大的机器学习算法之一，在这基础上有RNN,CNN等。

反向传播神经网络极简入门：http://www.ppvke.com/Blog/archives/36462

递归神经网络（RNN）在语义识别方面的应用: http://www.ppvke.com/Blog/archives/34981

BP神经网络模型与学习算法：  http://www.ppvke.com/Blog/archives/36336

---

6 聚类–KNN ，k-means, EM等：

k近邻法（knn)：http://www.ppvke.com/Blog/archives/25126

Python实战之KNN实现：http://www.ppvke.com/Blog/archives/25740

算法杂货铺——k均值聚类(K-means)：http://www.ppvke.com/Blog/archives/25352

EM算法: http://www.ppvke.com/Blog/archives/35474

---

7 降维:很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps  http://www.ppvke.com/Blog/archives/35335

---

 

8 关联规则算法:关联算法是数据挖掘中的一类重要算法。1993年,R.Agrawal等人首次提出了挖掘顾客交易数据中项目集间的关联规则问题，其核心是基于两阶段频繁集思想的递推算法。该关联规则在分类上属于单维、单层及布尔关联规则，典型的算法是Aprior算法。

FP_growth算法：http://www.ppvke.com/Blog/archives/22368

关联规则之Aprior算法(购物篮分析):http://www.ppvke.com/Blog/archives/35560

---

9 推荐算法大致可以分为三类：基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法。

 

探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探：http://www.ppvke.com/Blog/archives/27398

探索推荐引擎内部的秘密，第 2 部分: 深入推荐引擎相关算法 – 协同过滤：http://www.ppvke.com/Blog/archives/27413

探索推荐引擎内部的秘密，第 3 部分: 深入推荐引擎相关算法 – 聚类：http://www.ppvke.com/Blog/archives/27425

 

---

其它

 

社区划分——Label Propagatio：http://www.ppvke.com/Blog/archives/25744

感知机：http://www.ppvke.com/Blog/archives/25143

一文搞懂HMM（隐马尔可夫模型）:http://www.ppvke.com/Blog/archives/36921

 

转载请注明：PPV课 » 算法的简单归类–看完这些顿时感觉算法不再那么神秘了