机器学习介绍

机器学习

• 【定义】一个程序能从经验E中学习如何执行任务T，使性能指标P有所提升
  　Original：A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E. —— Tom Mitchell 1998
• 【非正式定义】给予计算机学习未显式编程领域的能力
  　Original：Field of study that gives computers the ability to learn without being explicitly programmed.——Arthur Samuel 1959

模型表示

将机器学习中各常见符号约定如下：

符号 意义 x 输入变量，即特征量 y 输出变量，即被预测量（当 y 离散时又称为标签） y^ 预测值，即h(x) h x,y 间的映射关系，即假设(hypothesis)函数 n 特征量的个数 m 训练集容量，即样本容量 上标 (i) 第 i 个样本 下标 j 第 j 种变量（特征量） 大写字母 对应小写字母的矩阵 := 赋值

由上述符号约定可将机器学习模型表示如下：
对一个特征量为 x的训练集，以假设函数 h:x→y 进行学习，使学习后的预测值 y^ 是被预测量 y 的好（准确）的预测。
【注】
当 y 连续时为回归(Regression)问题（用连续输出来预测结果，即将输入变量映射到连续函数）；
当 y 离散时为分类(Classification)问题（用离散输出来预测结果。即将输入变量映射到离散类别）。

算法分类

有监督学习（Supervised Learning）

• 【定义】已知数据集，且已知结果，得出输入和输出间的关系
• 【类型】
  
  1. 线性回归（Linear Regression）
  2. 逻辑回归（Logistic Regression）
  3. 反向传递神经网络（Back Propagation Neural Network）

非监督学习(Unsupervised Learning)

• 【定义】已知数据集，但未知结果，而得出数据间的结构关系
• 【类型】
  
  1. 聚类（Clustering）

强化学习(Reinforcement Learning)

推荐系统(Recommender Systems)

参考：
1. Andrew Ng. Machine Learning
2. 伯乐在线 机器学习常见算法分类汇总