Python数据分析与挖掘实战—挖掘建模
来源:互联网 发布:电魂网络会被收购吗 编辑:程序博客网 时间:2024/05/16 02:15
常用的分类与预测算法
1回归模型分类
1线性回归---自变量因变量线性关系,最小二乘法求解
2非线性回归--自变量因变量非线性关系,函数变换为线性关系,或非线性最小二乘方法求解
3logistic回归--因变量一般有1和0两种取值,将因变量的取值范围控制再0-1范围内
4岭回归--自变量之间具有多重共线性
5主成分回归--自变量之间具有多重共线性
一般自变量和因变量之间存在线性关系的时候,就可以用线性回归的方法,而两者之间呈现的是某种曲线特性时,就用非线性回归,当自变量之间出现多重共线时,用最小二乘估计的回归系数不准确,则主要用岭回归和主成分回归法。此处的logistics回归属于概率性非线性回归,对于二分类问题,y只有是否两个值,1和0,在自变量x1,x2,x3作用下y取值为是的概率为p,取值为否的概率为1-p。
logistics回归 p=P(y=1|X),取0概率是1-p,取1和取0的概率之比为p/1-p,成为事件的优势比odds,odds取对数得到Logistic变换Logit(p)=ln(p/1-p),再令Logit(p)=ln(p/1-p)=z ,则可以求出p=1/1+e^-z,则为Logistic函数。
p在0,1之间变换时,odds取值为0,+无穷,ln(p/1-p)的取值范围事-无穷,+无穷
logistics回归模型步骤
1根据挖掘目的设置特征,并筛选特征x1,x2...xp
使用sklearn中的feature_selection库,F检验来给出特征的F值和P值,筛选出F大的,p小的值。RFE(递归特征消除)和SS(稳定性选择)
2列出回归方程ln(p/1-p)=β0+β1x1+...+βpxp+e
3估计回归系数
4模型检验
5预测控制
随机逻辑回归进行特征筛选,逻辑回归进行模型训练评估
#-*-coding:utf-8-*-
import pandas as pdfilename='bankloan.xls'data = pd.read_excel(filename)x=data.iloc[:,:8].as_matrix()y=data.iloc[:,8].as_matrix()from sklearn.linear_model import LogisticRegression as LRfrom sklearn.linear_model import RandomizedLogisticRegression as RLRrlr = RLR()rlr.fit(x,y)#训练模型print rlr.get_support()#获取筛选结果print rlr.scores_#获取评分print ','.join(data.columns[rlr.get_support()])#有效特征为x=data[data.columns[rlr.get_support()]].as_matrix() #筛选好特征print xlr = LR()lr.fit(x,y)#训练模型print(lr.score(x,y))#模型的平均正确率,使用训练样本测试
- Python数据分析与挖掘实战—挖掘建模
- 『Python数据分析与挖掘实战』第五章:挖掘建模
- 笔记《Python数据分析与实战挖掘》
- python数据分析与挖掘实战-4
- python 数据分析与挖掘实战
- Python数据分析与实战挖掘
- 《Python数据分析与挖掘实战》笔记(五):数据建模
- python数据挖掘与分析实战—1、2、3
- Python数据挖掘建模 chapter_4 相关性分析
- 读书笔记-《Python数据分析与数据挖掘实战》
- Python数据分析与挖掘实战(数据预处理)
- 《python数据分析与挖掘实战》笔记-3.1代码问题
- 《Python数据分析与挖掘实战》逻辑回归建立
- 《Python数据分析与挖掘实战》代码问题
- python数据分析与挖掘实战 第六章 拓展思考
- python数据分析与挖掘实战 第七章 拓展思考
- python数据分析与挖掘实战 第九章 拓展练习
- python数据分析与挖掘项目实战记录
- C++抽象编程——自定义strlib文件
- 桶排序
- [李景山php]mysql 配置优化
- Problem B: 图形计数与求面积
- 淘宝技术牛人牛博客学习
- Python数据分析与挖掘实战—挖掘建模
- AngularJs内置服务$http
- java 中图形界面设计中 用不同按钮实现不同功能
- 算法笔记
- 一般系统恢复技术
- Problem C: 让动物们叫起来吧!
- css可继承的属性有哪些?
- 使用CXF+spring+restful创建一个web的接口项目
- Linux学习笔记(八)-基于AIX/Linux平台的项目开发