python—pandas中DataFrame类型数据操作函数
来源:互联网 发布:输入法软件 编辑:程序博客网 时间:2024/04/28 15:37
Python数据分析工具pandas中DataFrame和Series作为主要的数据结构.
本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。
1)查看DataFrame数据及属性
df_obj = DataFrame() #创建DataFrame对象df_obj.dtypes #查看各行的数据格式df_obj['列名'].astype(int)#转换某列的数据类型df_obj.head() #查看前几行的数据,默认前5行df_obj.tail() #查看后几行的数据,默认后5行df_obj.index #查看索引df_obj.columns #查看列名df_obj.values #查看数据值df_obj.describe() #描述性统计df_obj.T #转置df_obj.sort_values(by=['',''])#同上
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
2)使用DataFrame选择数据:
df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据df_obj.ix[columns_index] #获取列的数据df_obj.ix[1:3,[1,3]]#获取1列3列的1~3行数据df_obj[columns].drop_duplicates() #剔除重复行数据
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
3)使用DataFrame重置数据:
df_obj.ix[1:3,[1,3]]=1#所选位置数据替换为1
- 1
- 1
4)使用DataFrame筛选数据(类似SQL中的WHERE):
alist = ['023-18996609823']df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回turedf_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行
- 1
- 2
- 3
- 1
- 2
- 3
5)使用DataFrame模糊筛选数据(类似SQL中的LIKE):
df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
- 1
- 1
6)使用DataFrame进行数据转换(后期补充说明)
df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
- 1
- 1
可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep=’last’
7)使用pandas中读取数据:
read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据,pd.read_excel读取的数据是以DataFrame形式存储df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据
- 1
- 2
- 3
- 1
- 2
- 3
8)使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):
data_obj['用户标识'].groupby(data_obj['支局_维护线'])data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL
- 1
- 2
- 3
9)使用pandas合并数据集(类似SQL中的JOIN):
merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.
10)清理数据
df[df.isnull()]df[df.notnull()]df.dropna()#将所有含有nan项的row删除df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除df.dropna(how='ALL')#将全部项都是nan的row删除填充值df.fillna(0)df.fillna({1:0,2:0.5}) #对第一列nan值赋0,第二列赋值0.5df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN
实例
1. 读取excel数据
代码如下
import pandas as pd# 读取高炉数据,注意文件名不能为中文data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])print data
测试结果如下
燃料比 顶温西南 顶温西北 顶温东南 顶温东北0 531.46 185 176 176 1741 510.35 184 173 184 1882 533.49 180 165 182 1773 511.51 190 172 179 1884 531.02 180 167 173 1805 511.24 174 164 178 1766 532.62 173 170 168 1797 583.00 182 175 176 1738 530.70 158 149 159 1569 530.32 168 156 169 17110 528.62 164 150 171 169
2. 切片处理,选取行或列,修改数据
代码如下:
data_1row=data.ix[1]data_5row_2col=data.ix[0:5,[u'燃料比',u'顶温西南']print data_1row,data_5row_2coldata_5row_2col.ix[0:1,0:2]=3
测试结果如下:
燃料比 510.35顶温西南 184.00顶温西北 173.00顶温东南 184.00顶温东北 188.00Name: 1, dtype: float64 燃料比 顶温西南0 531.46 1851 510.35 1842 533.49 1803 511.51 1904 531.02 1805 511.24 174 燃料比 顶温西南0 3.00 31 3.00 32 533.49 1803 511.51 1904 531.02 1805 511.24 174
格式说明,data_5row_2col.ix[0:1,0:2],data_5row_2col.ix[0:1,[0,2]],选取部分行和列需加”[]”
3. 排序
代码如下:
print data_1row.sort_values()print data_5row_2col.sort_values(by=u'燃料比')
测试结果如下:
顶温西北 173.00顶温西南 184.00顶温东南 184.00顶温东北 188.00燃料比 510.35Name: 1, dtype: float64 燃料比 顶温西南1 510.35 1845 511.24 1743 511.51 1904 531.02 1800 531.46 1852 533.49 180
4. 删除重复的行
代码如下:
print data_5row_2col[u'顶温西南'].drop_duplicates()#剔除重复行数据
测试结果如下:
0 1851 1842 1803 1905 174Name: 顶温西南, dtype: int64
说明:从测试结果3中可以看出顶温西南index=2的数据与index=4的数据重复,测试结果4显示将index=4的顶温西南数据删除
5. 参考文献
10分钟搞定pandas
numpy+pandas series dataframe常用函数
python基础教程
0 0
- python—pandas中DataFrame类型数据操作函数
- python—pandas中DataFrame类型数据操作函数
- python—pandas中DataFrame类型数据操作函数
- python—pandas中DataFrame类型数据操作函数
- python科学计算笔记(九)pandas中DataFrame数据操作函数
- python/pandas dataframe中multiindex的操作
- 用python做数据分析|pandas库:DataFrame基本操作
- pandas中DataFrame相关操作
- Python中Pandas库 Dataframe的基本操作
- Python中DataFrame函数操作数据库
- python pandas dataframe 行列选择,切片操作
- python pandas dataframe 去重函数
- python pandas dataframe 去重函数
- python pandas dataframe 去重函数
- Python之Pandas中Series、DataFrame实践
- Python之Pandas中Series、DataFrame
- #######用python做数据分析4|pandas库介绍之DataFrame基本操作#######
- 用python做数据分析4|pandas库介绍之DataFrame基本操作
- mybatis传入混合参数(多个不同类型的参数)
- [IIS网站问题]设置防火墙协议及端口等问题
- 使用jrtplib(RTP)传输H.264视频文件(1)
- hdu1429-BFS+状态压缩
- CTSC2014 BZOJ3555 企鹅QQ-哈希
- python—pandas中DataFrame类型数据操作函数
- 登录页面样板
- 认识 UART 接口
- 触摸屏校正原理
- winXP/win7/win10系统关闭445端口方法全攻略
- 字典树-javascrpit实现
- heap和stack的区别
- ehcache的使用
- RxJava2 / RxAndroid2的merge操作合并多个Observable