机器学习学习笔记 1、高等数学

高等数学基础

本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。

极限定理

夹逼定理

积分微分基础(导数定义，常见函数求导，导数运算法则，复合函数求导)

凹凸函数

牛顿-莱布尼

Taylor公式、Maclaurin公式

方向导数和梯度

Gamma函数

Jensen不等式

拉格朗日乘子法

1. 极限定理

2. 夹逼定理

3. 积分微分基础

导数的定义

常见的函数求导

导数运算法则

求导运算

复合函数求导

定义

简单应用

进阶应用

注：图中第一步到第二步采用的是分步积分法

4.凹凸函数

凸集定义

曲线凸凹性

凹凸性判别

凸函数的一般形式

一阶可微

二阶可微

解释如下图

图中举例一个二元函数，一阶导是向量，二阶导是矩阵，矩阵的值大于0,这说明这是个正定矩阵，说明对于的函数是凸函数

凸函数举例

5.牛顿-莱布尼公式

6.Taylor公式

**可以从上图看到，Taylor公式在x=0处展开，就是Maclaurin公式。
实践中，如果x的值过大，导致函数很晚才收敛，前面的计算数值非常大，造成不方便，所以我们会进行一定程度上的变换**

上图的推导可以看出，任何一个x=N+R，R都是<=0.5的，都可以得到最后一个结论，从而很快速的求值

7.方向导数和梯度

8.Gamma函数

    上图推导我们可以看到，第三步分步积分，第四部，把前面部分打开，    第一块是无穷*0，但是0的阶乘比无穷高，所以等于0，    第二块，0*1 = 0，所以只剩后面部分了 

9.Jensen不等式

应用

11.拉格朗日乘子法