pandas 数据归一化以及行删除例程
来源:互联网 发布:双代号网络计划图 编辑:程序博客网 时间:2024/05/17 03:36
pandas 数据归一化以及行删除例程
#coding:utf8import pandas as pdimport numpy as npfrom pandas import Series,DataFrame# 如果有id列,则需先删除id列再进行对应操作,最后再补上# 统计的时候不需要用到id列,删除的时候需要考虑# delete rowdef row_del(df, num_percent, label_len = 0):#print list(df.count(axis=1))col_num = len(list(list(df.values)[1])) - label_len # -1为考虑带标签if col_num<0:print 'Error'#print int(col_num*num_percent)return df.dropna(axis=0, how='any', thresh=int(col_num*num_percent))# 如果有字符串类型,则报错# data normalization -1 to 1# label_col: 不需考虑的类标,可以为字符串或字符串列表# 数值类型统一到float64def data_normalization(df, label_col = []):lab_len = len(label_col)print label_colif lab_len>0:df_temp = df.drop(label_col, axis = 1)df_lab = df[label_col]print df_labelse:df_temp = dfmax_val = list(df_temp.max(axis=0))min_val = list(df_temp.min(axis=0))mean_val = list((df_temp.max(axis=0) + df_temp.min(axis=0)) / 2)nan_values = df_temp.isnull().valuesrow_num = len(list(df_temp.values))col_num = len(list(df_temp.values)[1])for rn in range(row_num):#data_values_r = list(data_values[rn])nan_values_r = list(nan_values[rn])for cn in range(col_num):if nan_values_r[cn] == False:df_temp.values[rn][cn] = 2 * (df_temp.values[rn][cn] - mean_val[cn])/(max_val[cn] - min_val[cn])else:print 'Wrong'for index,lab in enumerate(label_col):df_temp.insert(index, lab, df_lab[lab])return df_temp# 创建一个带有缺失值的数据框:df = pd.DataFrame(np.random.randn(5,3), index=list('abcde'), columns=['one','two','three'])df.ix[1,:-1]=np.nandf.ix[1:-1,2]=np.nandf.ix[0,0]=int(1)df.ix[2,2]='abc'# 查看一下数据内容:print '\ndf1'print dfprint row_del(df, 0.8)print '-------------------------'df = data_normalization(df, ['two', 'three'])print dfprint df.dtypesprint (type(df.ix[2,2]))
0 0
- pandas 数据归一化以及行删除例程
- pandas学习(四)--数据的归一化
- pandas删除和插入数据
- 数据归一化以及Python实现方式
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- 数据归一化
- SIFT算法以及RANSAC算法中的数据归一化研究
- 基于pandas和seaborn进行数据可视化以及相关性分析
- UILabel文字滚动
- Android build系统,读后对之前的一些工作有了进一步的体会
- MFC学习笔记.day02续-CDC类,绘图区域,CPen画笔,画刷 CBrush,DC设备描述表
- android开发动画总结二(frame animation)
- OpenCV入门笔记(三) 图片处理
- pandas 数据归一化以及行删除例程
- 一个centos7上全自动互动式编译nginx的脚本
- Python脚本生成sitemap
- 那些个正在实施hybris的公司们
- DiskLruCache硬盘缓存技术详解
- robotium 代码分析
- LeetCode -- 反转英文单词
- java代码实现输出指定以.java结尾的文件的绝对路径
- 新浪分享 Insufficient app permissions!