使用原始的Titanic数据,通过特征筛选,一步步提升性能(特征如何提取)
来源:互联网 发布:mac dock 顺序 编辑:程序博客网 时间:2024/05/17 01:55
# coding=gbk
#使用Titanic数据集,通过特征筛选的方法一步步提升决策树的预测性能
import pandas as pd
from sklearn.cross_validation import train_test_split , cross_val_score
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn import feature_selection
import numpy as np
import pylab as pl
titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
#分离数据特征与预测目标
y = titanic['survived']
X = titanic.drop(['row.names','name','survived'],axis=1)
#对缺失的数据进行填充
X['age'].fillna(X['age'].mean(),inplace=True)
X.fillna('UNKNOW',inplace=True)
#分割数据
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.25,random_state=33)
#类别型特征向量化
vec = DictVectorizer()
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))
#输出处理后特征向量的维度
print(len(vec.feature_names_))
#使用决策树模型依靠所有的特征进行预测,并评估性能
dt = DecisionTreeClassifier(criterion='entropy')
dt.fit(X_train,y_train)
print('选取特征之前的准确性:',dt.score(X_test, y_test))
#利用sklearn的特征筛选器,筛选出前20%的特征,使用相同配置的决策树模型进行预测,并且评估性能
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=20)
X_train_fs=fs.fit_transform(X_train,y_train)
dt.fit(X_train_fs,y_train)
X_test_fs=fs.transform(X_test)
print('选取特征之后的准确性:',dt.score(X_test_fs, y_test))
#通过使用交叉验证,并作图展示性能随机特征筛选比例变化
percentiles = range(1,100,2)
results = []
for i in percentiles:
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=i)
X_train_fs=fs.fit_transform(X_train,y_train)
scores = cross_val_score(dt,X_train_fs,y_train,cv=5)
results=np.append(results, scores.mean())
print(results)
#找到体现最佳性能的特征筛选百分比
opt = np.where(results==results.max())[0]
pl.plot(percentiles,results)
pl.xlabel('percentiles of features')
pl.ylabel('accuracy')
pl.show()
#使用最佳筛选后的特征,利用相同配置的模型在测试集上进行性能评估
fs1 = feature_selection.SelectPercentile(feature_selection.chi2,percentile=7)
X_train_fs1= fs1.fit_transform(X_train,y_train)
dt.fit(X_train_fs1,y_train)
X_test_fs1=fs1.transform(X_test)
print('筛选出七个特征之后的准确性',dt.score(X_test_fs1, y_test))
#使用Titanic数据集,通过特征筛选的方法一步步提升决策树的预测性能
import pandas as pd
from sklearn.cross_validation import train_test_split , cross_val_score
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn import feature_selection
import numpy as np
import pylab as pl
titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
#分离数据特征与预测目标
y = titanic['survived']
X = titanic.drop(['row.names','name','survived'],axis=1)
#对缺失的数据进行填充
X['age'].fillna(X['age'].mean(),inplace=True)
X.fillna('UNKNOW',inplace=True)
#分割数据
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.25,random_state=33)
#类别型特征向量化
vec = DictVectorizer()
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))
#输出处理后特征向量的维度
print(len(vec.feature_names_))
#使用决策树模型依靠所有的特征进行预测,并评估性能
dt = DecisionTreeClassifier(criterion='entropy')
dt.fit(X_train,y_train)
print('选取特征之前的准确性:',dt.score(X_test, y_test))
#利用sklearn的特征筛选器,筛选出前20%的特征,使用相同配置的决策树模型进行预测,并且评估性能
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=20)
X_train_fs=fs.fit_transform(X_train,y_train)
dt.fit(X_train_fs,y_train)
X_test_fs=fs.transform(X_test)
print('选取特征之后的准确性:',dt.score(X_test_fs, y_test))
#通过使用交叉验证,并作图展示性能随机特征筛选比例变化
percentiles = range(1,100,2)
results = []
for i in percentiles:
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=i)
X_train_fs=fs.fit_transform(X_train,y_train)
scores = cross_val_score(dt,X_train_fs,y_train,cv=5)
results=np.append(results, scores.mean())
print(results)
#找到体现最佳性能的特征筛选百分比
opt = np.where(results==results.max())[0]
pl.plot(percentiles,results)
pl.xlabel('percentiles of features')
pl.ylabel('accuracy')
pl.show()
#使用最佳筛选后的特征,利用相同配置的模型在测试集上进行性能评估
fs1 = feature_selection.SelectPercentile(feature_selection.chi2,percentile=7)
X_train_fs1= fs1.fit_transform(X_train,y_train)
dt.fit(X_train_fs1,y_train)
X_test_fs1=fs1.transform(X_test)
print('筛选出七个特征之后的准确性',dt.score(X_test_fs1, y_test))
阅读全文
0 0
- 使用原始的Titanic数据,通过特征筛选,一步步提升性能(特征如何提取)
- 使用Titanic 数据集,通过特征筛选的方法一步步提升决策树的预测性能
- 特征提升之特征筛选
- 如何使用网络的bottleneck特征提升准确率
- [数据挖掘]利用Titanic学习特征工程
- caffe:使用C++来提取任意一张图片的特征(从内存读取数据)
- 数据特征提取,特征量相关性分析
- HOG特征,LBP特征,Haar特征(图像特征提取)
- openMP的一点使用经验(图像特征提取OpenCV)
- 纹理特征的提取
- 形状特征的提取
- 特征提取的方法
- 颜色特征的提取
- 颜色特征的提取
- 颜色特征的提取
- 图像的特征提取
- 图像的特征提取
- 字符的特征提取
- PHP-FPM命令
- 【数学基础】CQYZ_Vijos_P3768 热身赛 Suspect
- Java性能调优随记
- 嵌套类与局部类
- sql语句之exists/not exists用法详解
- 使用原始的Titanic数据,通过特征筛选,一步步提升性能(特征如何提取)
- Python3:urllib中urlopen()函数新特点
- Android Studio 升级到3.0后 Terminal中无法输入中文
- 图片处理Lrucache 缓存防止OOM
- 服务器代理配置
- CentOS7下解决ifconfig command not found的办法
- iframe加载方案及性能
- PHP将数据库中的数据输出到txt文件,怎么读取txt文件
- redis字符串命令