Logistic Regression
来源:互联网 发布:jquery.dialog.js 编辑:程序博客网 时间:2024/06/11 22:36
Logistic回归并不是回归,而是用于解决二分类问题。其本质是在线性回归的基础上加了一层sigmoid函数映射。它可以预测某事件在给定样本特征下发生的“概率”(
sigmoid函数
公式
函数曲线如下图所示
sigmoid是s形曲线,取值在[0,1]之间,这个值可以解释为概率or置信度。在分类预测的时候,一般取
目标损失函数
LR的概率假设:
假设m个训练样本都是独立同分布的,于是Loss Function如下
为方便求极值,取对数
梯度下降
我们目的是求解概率的极大值,其实是梯度上升,不过二者也就是一个负号的区别。
L1 VS L2
很有意思的一张图
“可以看到,
相比之下,
L1正则化倾向于使参数变为0,因此能产生稀疏解,可以用来在稀疏特征空间做特征选择。
softmax
在Softmax回归中将
损失函数:
梯度公式:
其中注意
softmax vs k 个二元分类器
取决于类别间有没有互斥关系,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归
如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。
python实现
https://github.com/lxmly/machine-learning
参考
- https://www.quora.com/What-is-the-difference-between-L1-and-L2-regularization
- http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#ed61992b37932e208ae114be75e42a3e6dc34cb3
- http://tech.meituan.com/intro_to_logistic_regression.html
- http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
- logistic regression
- logistic regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- logistic regression
- logistic Regression
- Logistic regression
- Pyunit源码笔记之五 开始执行testsuit的run及迭代
- 腾讯云部署
- Grails 国际化
- Class.forName()用法详解
- 前端AngularJS的POST请求,后端SpringMVC接收数据的小坑
- Logistic Regression
- 二叉树的中序遍历
- Web.xml配置详解之listener
- Linux 网络编程笔记(3)——进程间通信
- JAVA计算器
- Android 6.0的新特性及权限机制的详解
- 【转】[C++]LARGE_INTEGER 类型使用
- 人工智能资源
- Mathtype与word2016不兼容问题最新解决办法