cs231n---梯度下降
来源:互联网 发布:淘宝买号被骗了 编辑:程序博客网 时间:2024/05/16 15:59
1 梯度计算
梯度:代表改变量对最终结果的影响
x,y,q处梯度<-4 对最终结果有消极影响
z处梯度>0 对最终结果有积极影响(给z一个小增量h,最终结果增加3h)
正梯度:损失随其增加而增加
2 链式法则示例
反向传播:不停使用链式法则,反向传播中存储局部梯度值
举例:
max gate:梯度路由
add gate:梯度分配
3 向量化的操作:
梯度:雅可比矩阵 4096 * 4096
对角矩阵:元素值为1/0
minibatch训练时: 100 *4096-d维数很大
阅读全文
0 0
- cs231n---梯度下降
- cs231n-(3)最优化:随机梯度下降
- CS231n课程笔记3.2:梯度下降
- CS231n作业笔记1.4:随机梯度下降(SGD)
- cs231n-梯度下降及在线性分类器的应用
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- Android线程—多线程编程核心技术
- Linux环境下装OpenCV3 缺少ippicv问题、CMake的用法
- Spring返回通知、异常通知和环绕通知
- 用Eclipse+axis2+tomcat进行web service部署
- js冒泡排序
- cs231n---梯度下降
- Java虚拟机--Class装载系统(二十)
- 使用到iframe的页面中父页面和子页面之间的访问
- python的知识点总结
- iOS git 常用命令
- Java实现远程HDFS的文件操作(新建、上传、下载、删除)
- 解决qt在相同分辨率不同宽度的屏幕下字体显示位置不一样的问题
- Oracle12C--修改游标数据(三十七)
- 115个Java面试题和答案——终极列表(上)