2017.06.05回顾 dataframe找到喊缺失值的column list组成dataframe

来源:互联网 发布:装修cad设计图软件 编辑:程序博客网 时间:2024/05/29 02:14

上午精神不是很好,有点瞌睡,看了下周边,群里面水了几句

1、思考了下模型评价的问题

2、决策引擎修改

3、继续建v7,首先建了个轮子,找出dataframe中的缺失值,用isnull写一个函数,我开始也大概想到这种思路的,但是还是在不遗余力地寻找现成的方法

def find_na_column(df):    miss_columns = []    for column in df:        if sum(pd.isnull(df[column])) > 0:            miss_columns.append(column)    return miss_columns

4、找到缺失值,用fillna去填补,然后用woe包跑了一下,发现一些变量已经崛起了,一些变量果然屁用没有,但是输出的形式,可读性很差,我发现整个woe包是基于array的,我觉得我应该重构一个pandas的版本

5、下班后被同事叫去吃了个晚饭,吃得还蛮久,回来大概又工作了一个小时,效率偏低,主要就做了个一个事情,就是尝试去改进WOE包,在外部写了个方法,对IV值进行排序,这里主要涉及到几个新东西

  • 两个list怎么组成dataframe,我是分别把两个list,做成dataframe,然后用pd.concat([A,B],axis = 1),去左右合并两个dataframe,不知道有没有更为简洁的方式
  • 组合成了dataframe后,考虑如何对这个dataframe进行排序,我之前也做过,但是记忆有点模糊了,现在排序的method叫做sort_values('排序字段名称',ascending=0),0是降序排列,1是升序排列,默认是升序
6、做完这个,就回家了,回家keep了一下 ,感觉好累啊,做了大概35分钟,加油吧!运动是对的,不能丢了!加油!要睡觉的时候还看了下B站,睡觉的时候已经12点半了,我应该早点休息,不然一切努力都是白费,如果不早点休息,早上起来的精神也很难保证,总结起来就两点坚持锻炼,锻炼就缩减到30分钟吧,keep强度略大,然后12点之前必须上床,是否可W呢?感觉还有很多重要的事没做,不能一天就想到W,所以还是按原计划,现在还改为不上,处理点儿其他事情吧,做一个强执行力的人,就是干!不要这没干那没干,到时候吃了亏,还要被吐槽!干他妈的!加油!