机器学习基础(十二)—— 数学基本理论拾遗

来源:互联网 发布:让mac电脑翻墙 编辑:程序博客网 时间:2024/06/06 16:32

数学分析

泰勒展开

  • (1)有限阶泰勒展开是对原函数的多项式逼近(approximation),为了求导的方便

  • (2)一阶泰勒展开(也即只保留一阶和 0 阶的部分)是对原函数的局部线性近似(Local Linear Approximation)(局部线性近似

梯度下降/梯度上升

梯度下降求函数的最小值:

wt+1wtηwf(w)

梯度上升求函数的最大值:
wt+1wt+ηwf(w)

距离

距离的三个条件:

  • (1)非负性
  • (2)对称性
  • (3)三角不等式
0 0