多类 SVM 的损失函数及其梯度计算
来源:互联网 发布:淘宝助理违规验证通过 编辑:程序博客网 时间:2024/05/22 06:06
CS231n Convolutional Neural Networks for Visual Recognition —— optimization
1. 多类 SVM 的损失函数(Multiclass SVM loss)
在给出类别预测前的输出结果是实数值, 也即根据 score function 得到的 score(
yi 表示真实的类别,syi 在真实类别上的得分;sj,j≠yi 在其他非真实类别上的得分,也即预测错误时的得分;
则在全体训练样本上的平均损失为:
delta = 1scores = np.dot(W, X)correct_scores = scores[y, np.arange(num_samples)]diff = score - correct_scores + deltadiff[y, np.arange(num_samples)] = 0thresh = np.maximum(0, diff)loss = np.sum(thresh)loss /= num_samples
2. 优化(optimization):梯度计算
首先来看损失函数的定义,如下为第
- 遍历
j ,就是遍历W 每一列的每一个元素,wTjxi⇒j=1,…,c;i=1,…,N wTj 表示W 的每一行,共c 行;
下面的额关键是如何求得损失函数关于参数
binary = thresh binary[thresh > 0] = 1 # 实现 indicator 函数col_sum = np.sum(binary, axis=0)binary[y, np.arange(num_samples)] = -col_sumdW = np.dot(binary, X.T) # binary 维度信息:c*N, X 维度信息:d*NdW /= NdW += reg * W
0 0
- 多类 SVM 的损失函数及其梯度计算
- 多类SVM的损失函数
- softmax 损失函数以及梯度推导计算
- 机器学习(4)-理解SVM的损失函数和梯度表达式的实现+编程总结
- 梯度下降,损失函数
- SVM, Softmax损失函数
- SVM合页损失函数
- SVM损失函数
- 最优化基础:损失函数可视化、折页损失函数 & 梯度计算
- SVM 合页损失函数 导数
- 损失函数与梯度提升树
- 逻辑回归:损失函数与梯度下降
- 【深度学习CV】SVM, Softmax损失函数
- OpenCV与梯度计算相关的函数
- SVM的常见核函数及其选取
- 机器学习(5)-理解softmax的损失函数和梯度表达式的实现+编程总结
- 生成对抗网络GAN损失函数Loss的计算
- 模型训练-损失函数的来源-最大似然与梯度下降
- Fluke45Viewer数据校准工具
- 《程序员修炼之道》笔记(三)
- 基础搜索
- LeakCanary 内存溢出检测工具
- 1045. 快速排序
- 多类 SVM 的损失函数及其梯度计算
- tomcat服务器无法启动或者双击startup.bat一闪而过的原因
- mysql可重复读和幻读实例
- 处理多字节数据转Unicode和 string转char
- 学习笔记
- php中的isset(),empty(),is_null()函数比较总结
- mysql的事务和锁
- How do I fix the GPG error “NO_PUBKEY”?
- 常用Git命令