七月算法(julyedu.com)5 月深度学习班学习笔记-第一节数学基础
来源:互联网 发布:掌炙世家淘宝网有买吗 编辑:程序博客网 时间:2024/04/20 11:44
关于数学在机器学习中的重要性:
程博是这样说的------
不错,数学是算法的基础,没有好的数学根基是不能触碰到算法的根源,但是我认为一般非数学专业的人适可而止,不要太迷恋数学,我们大部分人,了解微积分、矩阵等就可以了
1.梯度
了解机器学习的同学肯定不陌生这个名词,认为很高大上。其实没那么深奥。归根到底还是求导。。。。
多元求偏导就被定义为梯度(如上)。
对梯度求偏导,我们用列向量表示,H被称为黑塞矩阵。如果函数f
的二阶偏导数连续,则二阶偏导数的求导顺序没有区别,则H为对称矩阵。
2.问求LOSS时为什么梯度是最快的方向?
梯度的几何意义说明了这个问题,即沿梯度方向的方向导数最大.
而方向导数是衡量一个多元函数沿固定方向的变化速率的,所以
沿梯度方向,多元函数增大的速率最大,也就是增加的最快
a.泰勒公式
给个高数定理吧,不太严谨:对于任意一点,最低阶的非零导数是奇数阶时,不是极值点;最低阶的非零导数是偶数阶时,是极值点,可以通过符号判断是极大值还是极小值.
此泰勒展开是在向量形式下,与标量展开式一一对应。
好了。可以回答为什么梯度方向是最快方向了
0 0
- 七月算法(julyedu.com)5 月深度学习班学习笔记-第一节数学基础
- 深度下降法轨迹-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 数理统计与参数估计-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 回归&logistics回归笔记-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 机器学习初步与微积分概率论-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 极大似然估计-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 凸优化之优化、对偶、KKT-七月算法(julyedu.com)4 月机器学习算法班学习笔记
- 七月算法深度学习 第三期 学习笔记-第一节 数学基础
- 七月算法深度学习笔记7--RNN
- 七月算法深度学习笔记4 -- CNN与常用框架
- 七月算法深度学习笔记5--CNN训练注意事项与框架使用
- 七月算法深度学习 第三期 学习笔记-第十节 深度学习与迁移学习
- 七月算法深度学习 第三期 学习笔记-第四节 深度学习框架与应用
- 机器学习---神经网络与深度学习机器之心https://ask.julyedu.com/ 是 leetcodle
- 深度学习数学基础笔记整理(一)
- 深度学习数学基础笔记整理(二)
- 七月算法深度学习 第三期 学习笔记-第九节 强化学习与Deep Q-Network
- 七月算法机器学习笔记1--机器学习中的数学之数理统计和参数估计
- 关于spring单例,原型对象模式下犯的错
- Atheros(创锐讯)相关了解
- NSMutableArray和NSArray的相互转换
- 文章标题
- java 动态代理学习(Proxy,InvocationHandler)
- 七月算法(julyedu.com)5 月深度学习班学习笔记-第一节数学基础
- TLV基础
- Spark中组件Mllib的学习28之支持向量机SVM-方法1
- PID自学笔记-入门级
- 3左上角右上角动态规划
- 使用Picasso加载图片的内存优化实践
- org.apache.ibatis.builder.IncompleteElementException : Could not find parameter map com.vialove.ais
- 如何使父视图添加透明度时不影响子视图
- 【c++程序】friend与operator