机器学习脉络总结

来源：互联网发布：哈尔滨铁路局网络学校编辑：程序博客网时间：2024/05/01 00:14

一、机器学习定义：

现实世界中，有很多事物过程，未知很多，变数无穷，没办法用一套确切标准的规则来描述（如：手写输入、自动驾驶、千亿文本分类）。那么也就无法直接将过程逻辑规则翻译为代码逻辑，抛给计算机为人代劳。

因此，人只能将人的经验知识、思维方法，翻译成一段程序，让计算机来执行、实践，为人效劳。

经验知识、思维方法，可精确标准的描述吗？

也不能，正式由于这种不可精确标准描述性，所以，才需要在计算机的执行反馈与人的指导修正之间不断的迭代，优化。

迭代优化什么时候是个头呢？

指导这段程序的执行结果达到人们可接受的一个范围尺度，越靠近那个理想值越好，此之所谓模型收敛！

让计算机去学习：在人工经验的指导作用下，使其行为慢慢改变！

（自己的理解，不对请指正。）

二、机器学习相关概念收集：

1、过程概念：

特征项选择：

依据数据项，标志数据项

数据集选择：

训练集&测试集

原型选择：

线性回归、Logistic回归、朴素贝叶斯、SVM...

训练：

优化（训练）：梯度下降、拉格朗日条件极值、凸优化...

收敛（最优估计函数值H以大概率收敛于最优值，生成模型）：最小训练误差、最小均方差、最大似然率...

评测：

预测&分类：

2、方法分类：

有监督学习：有明确正确的结果

回归型：连续型输出

分类型：离散型

无监督学习：

聚类

增强学习：

三、机器学习方法总结

有监督类型：

1、分类：

决策树（信息增益）

分类回归树（Gini指数、X^2统计量、剪枝）

朴素贝叶斯（非参数估计、贝叶斯估计）

线性判别分析（Fishre判别，特征向量求解）

K最近邻（相似度度量、欧氏距离、街区距离、编辑距离、向量夹角、Pearson相关系数）

支持向量机——二值分类（二次规划、Lagrange乘数法、对偶问题、最优化、序列最小化、核技巧）

逻辑回归——二值分类（参数估计<极大似然估计>、S型函数）

径向基函数网络（非参数估计、正则化理论、S型函数）

对偶传播网络（无导师的竞争学习、有导师的Widrow-Hoff学习）

学习向量量化网络（一个输出层细胞跟几个竞争层细胞相连）

误差反向传播网络（S型函数、梯度下降法）

单层感知器（只具有线性可分的能力）

双隐藏层感知器（足以解决任何复杂的分类问题）

2、回归分析：

线性回归（参数估计、最小二乘法、一般用于预测）

逻辑回归（参数估计<极大似然估计>、S型函数）

无监督类型：

3、聚类：

KMeans（质心）

CHAMELONE（图划分、相对互连度，相对紧密度）

BIRCH（B树、CF三元组）

DBScan（核心点、密度可达）

EM算法——高斯混合模型（参数估计<极大似然估计>）

谱聚类（图划分、奇异值求解、全局收敛）

自组织映射网络（无导师的竞争学习）

4、降维：

主成分分析（协方差矩阵、奇异值分解）

其他：

5、关联规则挖掘：

FP-Tree（频繁1项集、FP-Tree、条件模式基、后缀模式）

6、推荐：

协同过滤（稀疏向量的相似度度量）

参考文献：

http://blog.csdn.net/chl033/article/details/5452060

http://www.cnblogs.com/zhangchaoyang/archive/2012/08/28/2660929.html