cs231n笔记1

斯坦福深度学习与机器视觉课程cs231n，感觉挺不错的，顺便记下来一些零碎的点，不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。

---

研究历史

---

一开始是对猫的视觉进行研究，发现有如下神奇的特点：

• 对于整个图像，猫的视觉基础神经元没有被激活。
• 在切换图像时，神经元被激活。

因此研究人员认为神经元对简单形状、边缘有反应。

David Marr提出视觉是分层的。

90年代感知分组，将图像分为不同区域。
1999，SIFT特征，图像识别、匹配。
2001，Face Detection，没有进行3D建模。

数据集：

• PASCAL 20类
• IMAGENET 22K类，14M图

2011年及之前图像分类识别基本靠SIFT+SVM。
其竞赛2012年出现CNN，AlexNet，7层layer夺得冠军。
之后2014：GoogleNet，VGG；2015：MSRA深度残差，均基于CNN。

kNN分类器

两图像距离的定义。

• L1距离：像素间绝对值再求和
• L2距离：像素间差的平方求和再开方

超参数：无法在训练中优化，如距离定义、k值。
采用单一验证、交叉验证方法。

kNN流程：

1. 计算已知类别数据中图像（train set）与需要预测点图像（test set）距离；
2. 按照距离依次排序；
3. 选取与需要预测图像距离最小的前k个；
4. 确定前k个中每种类别出现的次数；
5. 将出现次数最多的类别作为预测类别。

损失

---

SVM损失

公式：

j≠yi是指对于第i类，只对其他类进行求和运算；
sj是第j类得分结果；
syi是本类的得分结果；
Δ是常数，一般取1。
这是某一类的损失，总损失可以求平均。

image cat score car score frog score losses CAT 3.2 5.1 -1.7 2.9 CAR 1.3 4.9 2.0 0 FROG 2.2 2.5 -3.1 10.9

正则化

---

正则化项避免过拟合，考虑更多输入。

• L1正则：w权重绝对值之和
• L2正则：w权重平方和

Softmax损失

公式：


计算过程：

item cat car frog score 3.2 5.1 -1.7 exp 24.5 164.0 0.18 normalize 0.13 0.87 0

Lcat=−log(0.13)=0.89
当初始时（w很小），L=-log(1/N)=log(N)。

CS231n Convolutional Neural Networks for Visual Recognition
CS231n官方笔记授权翻译总集篇发布
斯坦福CS231n—深度学习与计算机视觉