机器学习数学基础学习总结（一）

什么是机器学习

1.Arthur Samuel(1959),machine Learning：Field of study that gives computers the ability to learn without being explicitly programmed.
根据1959年，Arthur Samuel对机器学习的定义：在不针对计算机编程的情况下，赋予计算机学习能力的一个领域。

2.Tom Mitchell(1998),Well-posed Learning Problems：A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
一个更好的定义是1998年Tom Mitchell提出的：对于一个计算机程序，给它一个任务T和一个性能测量方法P，如果在经验E的影响下，P对T的测量结果得到改进，那么就说该程序从E中学习。

机器学习的分类

机器学习需要掌握的知识

Hacking Skills：计算机能力
Math & Statistics Knowledge：数理统计知识
Substantive Expertise：领域知识
从上图可以看出，机器学习就是数理统计知识的结合。

机器学习中的数学基础

机器学习所需要的数学知识主要有：微积分、概率论与统计和线性代数三类。

• 微积分：
  常用的知识点：导数、泰勒公式、梯度、凸函数……
  应用：“损失函数”最小化问题求解。

• 概率与统计：
  常用的知识点：条件概率、全概率、贝叶斯定理以及各种概率分布， 如：两点分布、二项分布、泊松分布、均匀分布、指数分布、正态分布。期望、方差、协方差等。
  应用：
  1.在监督学习中，通过训练集得到对整体数据分布的一个估计，也就是建立一个概率模型，然后通过该模型进行预测。
  2.数据预处理，如在做机器学习之前，一般要初步统计下手中已知训练集的特征分布和标签分布，通过这些分布，大概可以判断出哪些特征与标签的相关性比较强。

• 线性代数：
  常用知识点：矩阵。
  应用：常用在求解多为特征的最优参数时，可以简化计算过程，将繁杂的计算转化为简单的矩阵形式。如SVD算法。

注：本系列内容来源于“七月在线—机器学习数学基础班” 的学习总结和个人体会，刚刚接触机器学习，如有理解不当，还请大家多多指教，谢谢大家！