损失函数(loss function)

来源:互联网 发布:荒野行动知乎 编辑:程序博客网 时间:2024/05/17 22:23
通常而言,损失函数由损失项(loss term)和正则项(regularization term)组成。发现一份不错的介绍资料:
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf (题名“Loss functions; a unifying view”)。

一、损失项
  • 对回归问题,常用的有:平方损失(for linear regression),绝对值损失;
  • 对分类问题,常用的有:hinge loss(for soft margin SVM),log loss(for logistic regression)。

说明:
  • 对hinge loss,又可以细分出hinge loss(或简称L1 loss)和squared hinge loss(或简称L2 loss)。国立台湾大学的Chih-Jen Lin老师发布的Liblinear就实现了这2种hinge loss。L1 loss和L2 loss与下面的regularization是不同的,注意区分开。
二、正则项
  • 常用的有L1-regularization和L2-regularization。上面列的那个资料对此还有详细的总结。

补充
  • Liblinear地址:http://www.csie.ntu.edu.tw/~cjlin/liblinear/
0 0
原创粉丝点击