多类svm

交叉验证 确定参数的选取（类似带反向传播的训练过程）

loss 函数
SVM的损失函数想要SVM字正确分类上的得分始终比不正确得分高出一个边界值
图像x，类别标签y，f（x,W）得分值s
正则化惩罚 消除模糊性，对特定的权重W添加偏好，通过对所有参数进行逐元素的平方惩罚来抑制较大数值的权重

对训练集中数据做出准确分类预测和让损失值最小化这两件事是等价的。

softmax分类器
对多个分类的一般化归纳，对结果归一化
对结果计算交叉熵
梯度计算方法
···数值梯度法
···分析梯度法
梯度决定方向，步长决定走多远

反向传播
是利用链式法则递归计算表达式梯度的方法，对于理解、实现、设计和调试神经网络非常关键

念念碎