缺失值的前期处理
来源:互联网 发布:好看的日系穿搭 淘宝 编辑:程序博客网 时间:2024/05/01 23:28
建立模型的时候,我们对于缺失值太大的特征需要删除,否则还可以对我们造成噪音数据。
对于缺失值的处理,一般来说先判定缺失的数据是否有意义。
从确实信息可以发现,本次数据集缺失值较多的属性对我们模型预测意义不大。
统计每列属性缺失值的数量,删除缺失值过高的比例的函数。
为此本人写了函数如下:
def null_ratio(data, ratiolimit = 0.4): #删除缺失值过高的比例的函数 df_null = data.isnull().sum(axis=0).sort_values(ascending=False)/float(len(data)) null_ratio = pd.DataFrame(df_null) null_ratio = null_ratio.reset_index() #重置索引 null_ratio = null_ratio.rename(columns = {'index':'Col', 0:'value_retio'}, copy = False) df_nullre = null_ratio[null_ratio.value_retio < ratiolimit] #删掉缺失值比例>0.4的特征 refesh_data = data[list(df_nullre['Col'])] return refesh_data
调用函数:
df1 = null_ratio(df)
阅读全文
0 0
- 缺失值的前期处理
- 缺失值的处理
- 缺失值的处理
- 缺失值的处理方法
- 缺失值的处理方法
- 处理缺失值的方法
- 缺失值的处理方法
- 缺失值的处理方法
- 缺失值的处理方法
- 【数据建模 缺失值处理】缺失值的处理
- clementine 中缺失值的处理
- R语言:缺失值的处理
- Rstudio-处理缺失值的方法
- 缺失值处理
- 缺失值处理
- 缺失值处理方法
- 缺失值处理
- Python处理缺失值
- 蓝桥杯-生日蜡烛
- 第八次作业,图书价格的比较。
- Vue.js NPM方法安装
- 魅族、小米、华为等国产手机动态请求权限崩溃问题
- RKE快速上手指南:开源的轻量级K8S安装程序
- 缺失值的前期处理
- Video Analysis(1):安装Ubuntu-ffmpeg-opencv
- android 自己写的Launcher中长按选择壁纸
- Hbase使用问题汇总
- 辩证思维解答seo快速排名的真相
- jstl标签
- Ubuntu安装Nvidia显卡驱动
- linux/window定时备份mysql数据库
- python获取apk内classes.dex文件