Logistic Regression的理解
来源:互联网 发布:有哪些大数据查询的app 编辑:程序博客网 时间:2024/05/16 16:06
一:为什么要引入Logistic Regression?
从linear Regression说起,假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:
求解(具体求解方式不讲了)可以得到一个线性函数,这个线性函数可以拟合数据集。
当特征和结果不满足线性,数据集仅仅分散在0和1的周围的时候,线性函数可定不能拟合数据集了,这时候我们引用sigmod函数去拟合数据集。
linear Regression模型修改为:
所以:Linear Regression解决的是连续的预测和拟合问题,而Logistic Regression解决的是离散的分类问题。两种方式,但本质殊途同归,两者都可以算是指数函数族的特例。
二Logistic Regression参数的求解
Logistic Regression采用梯度下降法对进行求解。
为了防止过拟合加入L1正则项。其损失函数变为:
三softmax Logistic Regression
对于多分类的问题,引入了softmax Logistic Regression
softmax Logistic Regression 模型为:
其中的参数sidta不再是列向量,而是一个矩阵,矩阵的每一行可以看做是一个类别所对应分类器的参数,总共有k行。所以矩阵sidta可以写成下面的形式:
此时,系统损失函数的方程为:
其中的1{.}是一个指示性函数,即当大括号中的值为真时,该函数的结果就为1,否则其结果就为0。
Softmax 为了防止过拟合,加入L2范数作为正则项
这个时候的偏导函数表达式如下所示:
- Logistic Regression的理解
- LR(Logistic Regression)深入理解
- Logistic Regression 笔记与理解
- Logistic Regression 损失函数理解
- Logistic regression的林林总总
- Logistic Regression and Naive Bayes新的理解点
- MLiA Logistic Regression对上一篇转载文章的理解
- 机器学习中Logistic Regression的个人理解
- [入门]对LR logistic regression 和linear regression的一些理解
- 简单logistic regression的实现
- Logistic Regression的几个特性
- Logistic Regression的OpenCV代码
- Logistic Regression的一些认识
- 【TensorFlow】TensorFlow 的 Logistic Regression
- Logistic Regression 的简单推导
- LR(Logistic Regression)深入理解 (续)
- logistic regression
- logistic regression
- android插件化开发——加载广播
- 轻量级日志类Log
- C# 编码转换 UTF8转GB2312 GB2312转UTF8
- HDU--ACM1004
- ASPX文件转HTML
- Logistic Regression的理解
- 无锁编程
- 4557: [JLoi2016]侦察守卫|树形DP
- java,write()方法后写flush()的作用
- 判断第几天是母亲节
- 深度学习进入芯片领域,揭秘寒武纪神经网络处理器
- LeetCode 010 Regular Expression Matching
- HDU-ACM1005
- Introduction to C++ Programming in UE4——UE4官方文档翻译与理解(一)