CS231n 2017Spring Lecture3 Loss Function and Optimization总结
来源:互联网 发布:伊藤润二坏小孩 知乎 编辑:程序博客网 时间:2024/06/14 20:56
Abstract
- Define a loss function that quantifies our unhappiness with the scores across the training data.
- Come up with a way of efficiently finding the parameters that minimize the loss function.
(optimization)
1 Loss Function
- loss的一些想法
1.1 SVM的loss
该SVM Loss的一个特点
SVM Loss的形式
* 对例子计算Loss
平均Loss
这里有一个问题: What if the sum was over all classes?
其实是不会改变的,因为所有的值(j=i时)都+1所以相当于没有加还多做了操作
CODE例子:
另外一点需要注意的是:
奥卡姆剃刀原理:Among competing hypotheses,the simplest is the best(model选择的一点sense)
1.2 Regularization
1.3 SoftMax Classfier Loss
SoftMax与SVM不一样,它是找到每个分类的概率来进行分类(如公式)
计算Loss
SVM与SoftMax Loss的对比
- 前所述过程总结
2 optimization
- 首先有一点找F也叫H(就是数据分布下隐含的函数)的方式是Random Search,这种想法完全无法使用,尤其是数据维度高的时候。
Follow the Scope(GD方法)
但是计算剃度的时候是直接计算的(即analytic gradient)
但是这种方法的好处是可以验证你的梯度是不是对的在编程的时候In practice: Always use analytic gradient, but check implementation with numerical gradient. This is called a gradient check.
- SGD的例子
- SGD的例子
Deal With Image Features
- RGB
处理特征的一些方法
最终对比ConvNet
阅读全文
0 0
- CS231n 2017Spring Lecture3 Loss Function and Optimization总结
- CS231N-Lecture3 Loss Functions and Optimization
- cs231n第三节Loss Function and Optimization
- CS231n-3-Loss Function & Optimization
- [cs231n之第三课]Loss function and optimization
- stanford_CS231n_learning note_Lec_03 Loss function and optimization
- lecture 3,Loss Function and Optimization
- CS231n系列课程Lecture 3: Loss functions and Optimization
- 【CS231n winter2016 Lecture 3 (Linear classification II/loss function/optimization/SGD)】
- Loss Function总结
- pytorch loss function 总结
- pytorch loss function 总结
- 【2017年cs231n学习笔记2】Lecture3 损失函数 最优化
- Loss Function
- Loss function
- loss function
- CS231n Spring 2017 homework
- Differences between L1 and L2 as Loss Function and Regularization
- JVM菜鸟进阶高手之路十四:分析篇
- 2017年11月总结
- web的一些小技巧
- the requested PHP extension dom is missing from your system
- 7.3
- CS231n 2017Spring Lecture3 Loss Function and Optimization总结
- Unity基础,组件
- Linux中的一些重要的目录及其命令
- [bzoj1832][bzoj1787][lca]聚会 & Meet 紧急集合
- hiho 1641 热门号码 [Offer收割]编程练习赛37 Problem A
- 数论学习
- 设计模式—状态模式
- Linux 系统命令
- 字符串比较