我的机器学习之路-Regression(二)
来源:互联网 发布:java杨辉三角四行 编辑:程序博客网 时间:2024/06/08 09:25
线性回归的不足
对于如同上节所示的房价问题,
房间面积为连续型变量,房价也是连续型的变量,可以用线性回归来处理。但是特征和标签也有可能为离散型的变量,此时按照线性回归就会出现问题,如下所示肿瘤为良性还是恶性与肿瘤面积的关系。
在上图中假设这条绿色的线为线性回归得到的结果,可以通过选取一个肿瘤大小作为分界值小于某个值为良性,否则就为恶性
但是如果有下面这样一组数据
如上如所示在这种情况下,有一个相对游离的点,会导致拟合直线斜率变得很大,单纯的按照x的位置分类,就会导致错误,因此需要另一种方法。
logistic regression
上面的问题很明显,结果只有两类,要么是0要么是1,因此可以找到相应的预测函数,sigmoid函数。
函数为,
在这里假设函数为,同时假设为结果为1的概率,从个人理解来说,因为在后面的分类过程中,大于0.5时就将结果置为一,小于0.5时结果为0,所以 如下所示
上面两式综合起来为得到下面的式子
由于所有样本中数据服从(0-1分布)且相互独立。我们假设有M个样本
为方便运算,用log对运算进行简化
接下来使用梯度上升法,求似然函数的最大值,与线性回归相同符号意义相同。为方便计算先去掉求和运算。
带入到梯度上升法
将上式写成矩阵形式:
令
故得到
阅读全文
0 0
- 我的机器学习之路-Regression(二)
- 我的机器学习之路-Regression(一)
- 机器学习(二)之Logistic Regression
- (转载)【机器学习算法系列之二】浅析Logistic Regression
- 机器学习实战之--regression
- 机器学习之logistic Regression
- 机器学习之logistics regression
- 机器学习之Logistic regression
- 【机器学习笔记】二、 Regression回归
- 机器学习实验二--Logistic Regression
- 我的机器学习之路
- 我的机器学习之路-决策树
- 我的机器学习之路(三)
- 新宇教你机器学习之 Linear Regression (Least Square Regression)
- 监督学习之Logistic regression——Andrew Ng机器学习笔记(二)
- 机器学习(一)之Linear Regression
- 机器学习之logistic regression(SGD)
- Stanford机器学习 -- Logistic Regression 的学习
- 515. Find Largest Value in Each Tree Row
- Drupal8 PHPExcel_Shared_Date not found
- 配置tomcat文件服务器
- 包含min函数的栈
- 【剑指offer之二进制中1的个数】
- 我的机器学习之路-Regression(二)
- spring中scope(作用越)理解
- mysql主从复制(四)
- 搭建JEESZ分布式架构9--消息中间件简介
- POJ 1698 Alice's Chance 笔记
- jvm启动是单线程还是多线程?
- java用base64解密时,部分中文乱码原因
- ubuntu install phantomjs
- 六一儿童节PHP宝宝又被围剿了,迅速围观!