机器学习精简教程之三——用scikit-learn求解多元线性回归问题
来源:互联网 发布:http 服务器默认端口 编辑:程序博客网 时间:2024/05/22 08:02
本文转自 http://www.shareditor.com/blogshow/?blogId=54
一般情况下,一个因变量是和多个自变量有关的,比如一个商品的价格和原料价格、加工方法、上市时间、品牌价值等有关,也就是多元线性,本节介绍如何用scikit-learn解决多元线性回归问题
多元线性回归模型
方程:Y=Xβ
求解多元线性回归问题就是求解β:
因为X不一定是方阵,所以不能直接β=X-1Y
两边同时乘以Xt,得到XtY=XtXβ
因为XtX是方阵,它的逆是(XtX)-1,所以两边同时乘(XtX)-1得到
(XtX)-1XtY=β
根据这个公式,我们自己设计一个例子,验证一下
设计二元一次方程:y=1+2x1+3x2
取样本为(1,1,1),(1,1,2),(1,2,1),计算得y=(6,9,8)
注意:这里面常数项1相当于1*x0,只不过这里的x0永远取1
所以我们的
X = [[1,1,1],[1,1,2],[1,2,1]]
y = [[6],[9],[8]]
from numpy.linalg import inv #Compute the (multiplicative) inverse of a matrixfrom numpy import dot,transpose #引入点乘,转置模块
from numpy.linalg import lstsq #最小二乘x = [[1,1,1],[1,1,2],[1,2,1]]y = [[6],[9],[8]]print(dot(inv(dot(transpose(x),x)),dot(transpose(x),y)))
print lstsq(x,y)[0] #用numpy的最小二乘函数直接计算出执行结果为:
[[ 1.] [ 2.] [ 3.]]
这里面transpose是求转置,dot是求矩阵乘积,inv是求矩阵的逆
用scikit-learn求解多元线性回归
知道了原理,我们就直接尝试一下scikit-learn的线性模型回归吧
from sklearn.linear_model import LinearRegressionx = [[1,1,1],[1,1,2],[1,2,1]]y = [[6],[9],[8]]model = LinearRegression()model.fit(x,y)x2 = [[1,3,5]]y2 = model.predict(x2)print(y2)
刚好y=1+2x1+3x2=1+2*3+3*5=22
用scikit-learn求解多元线性回归
知道了原理,我们就直接尝试一下scikit-learn的线性模型回归吧from sklearn.linear_model import LinearRegressionx = [[1,1,1],[1,1,2],[1,2,1]]y = [[6],[9],[8]]model = LinearRegression()model.fit(x,y)x2 = [[1,3,5]]y2 = model.predict(x2)print(y2)
刚好y=1+2x1+3x2=1+2*3+3*5=22
阅读全文
0 0
- 机器学习精简教程之三——用scikit-learn求解多元线性回归问题
- 机器学习精简教程之二——用scikit-learn求解一元线性回归问题
- 机器学习精简教程之五——用scikit-learn求解多项式回归问题
- 四、用scikit-learn求解多元线性回归问题
- 三、用scikit-learn求解一元线性回归问题
- 机器学习精简教程之七——用scikit-learn做特征提取
- 机器学习精简教程之十——用scikit-learn做聚类分析
- 机器学习精简教程之九——用scikit-learn的网格搜索快速找到最优模型参数
- (转)(三)机器学习笔记之Scikit Learn的线性回归模型初探
- 机器学习之线性回归 Linear Regression(三)scikit-learn算法库
- 机器学习——多元线性回归
- 机器学习——多元线性回归
- scikit-learn : 线性回归,多元回归,多项式回归
- 线性回归之scikit-learn
- 机器学习练习(二)——多元线性回归
- <机器学习笔记-02> <scikit-learn -02>线性回归
- [通过scikit-learn掌握机器学习] 02 线性回归
- 机器学习回归篇-多元线性回归
- CCF 201612-2 火车购票 JAVA
- 学而时习之,不亦说乎
- 安装Oracle中遇到的问题
- php安装redis扩展
- Number Transformation
- 机器学习精简教程之三——用scikit-learn求解多元线性回归问题
- 面向对象
- Java数组
- 课程大纲
- C
- Membership Service Providers (MSP)
- 【ARM】Exynos 4412 中断理论分析
- GNU Autotools构建系统
- Poj 3264 Balanced Lineup ( 线段树