像Excel一样使用Python(二)
来源:互联网 发布:网络协议分析参考书 编辑:程序博客网 时间:2024/05/17 03:53
像excel一样使用python,上一期介绍了生成、查看、替换等功能,这一期介绍数据预处理,包括数据表合并、排序、分组等。
1.合并
Excel里智能复制粘贴来合并表格,或者通过VLOOKUP函数分步实现。python中,可以直接使用merge函数来合并两个表,可选参数较多,这里只介绍最常用的几个参数:
df1.merge(df2,how='inner',on=None,left_on=None,right_on=None)
或:pandas.merge(df1,df2,how='inner'…)
将df1与df2合并,how为合并方式,有“inner、outer、left、right”4种选择,分别为“求交集、并集、固定左边、固定右边”。On代表用于连接的键名,如果两表合并对象的列名不同,使用left_on=None, right_on=None来分别指定。在默认情况下,merge会自动以重叠的列名按inner的方式合并。
importpandasaspd
frompandasimportDataFrame,Series
df1=DataFrame({'gene':['arx1','arx2','arx3','arx4'],
'size':[411,530,289,450]})
df2=DataFrame([['arx2','kana-A'],['arx3','kana-B'],
['arx4','pdm-V'],['arx5','pdm-V1']],
columns=['gene','homo'])
df_inner=pd.merge(df1,df2,how='inner',on='gene')
printdf_inner
输出:
gene size homo
0 arx2 530 kana-A
1 arx3 289 kana-B
2 arx4 450 pdm-V
2.排序
在excel中,使用数据-排序可以对数据表直接进行排序。
在python中,可以使用sort_values和sort_index函数进行排序。
printdf1.sort_values(by=['size'])
输出:
gene size
2 arx3 289
0 arx1 411
3 arx4 450
1 arx2 530
而sort_index可以按索引进行排序。
df_inner.set_index('size')
#将size列作为索引df_inner.sort_index()
#使用索引进行排序
3.分组
在excel中,使用“公式-插入函数-LOOKUP-选择分组列与分组条件”进行分组。
在python中,使用where函数对值进行判断。
df1['group']=np.where(df1['size'] >300,'long','short')
printdf1
输出:
gene size group
0 arx1 411 long
1 arx2 530 long
2 arx3 289 short
3 arx4 450 long
4.分列
即将一列按固定规则分为多列。在excel中,可使用“数据-分列”进行分拆。
在python中,使用split函数。若以“-”为分隔符,对“homo”列中的所有元素进行分割,index与df2保持一致,列重新取名为“category”和“number”,则表达式如下:
df3=DataFrame((x.split('-')forxindf2['homo']),index=df2.index,columns=['category','number'])
printdf3
输出:
category number
0 kana A
1 kana B
2 pdm V
3 pdm V1
5.数据提取
按索引进行提取使用loc函数。
printdf1.loc[:2]
#提取从0至1的数据printdf1.loc[1]
#提取索引为1的数据
按位置提取,使用iloc函数,将横纵方向标签均从0开始计算。
printdf1.iloc[2,2]
#第三行第三列的数据printdf1.iloc[:3,:3]
#前三行前三列的数据
同时又按索引又按位置提取,使用ix函数。
df1=df1.set_index('gene')
#将gene设为索引列printdf1.ix[:'arx2',:3]
#索引arx2之前及0-2列部分
按条件提取,可使用isin函数。Isin函数用来判断是否为给定值,是返回“True”,否返回“False”。将isin函数嵌套如loc函数中,可以输出结果为“True”的数据。
printdf1['group'].isin(['long'])
输出:
0 True
1 True
2 False
3 True
Name: group, dtype: bool
printdf1.loc[df1['group'].isin(['long'])]
输出:
gene size group
0 arx1 411 long
1 arx2 530 long
3 arx4 450 long
6.数据筛选
Excel中可以使用“数据-筛选”根据字段进行筛选。
Python中可使用与、或、非,”&”、”|”、”!=”和loc函数一起进行筛选。例如筛选size>400,homo带有kana的数据:
printdf_inner.loc[(df_inner['size'] >400)&(df_inner['homo'].isin(['kana-A']))]
或者使用query函数进行搜索。
printdf_inner.query('size>400')
本文参考:
Python For Data Analysis
蓝鲸网站分析博客,作者蓝鲸(王彦平)
- 像Excel一样使用Python(二)
- 像Excel一样使用Python(一)
- 像Excel一样使用Python进行数据分析 Dataframe
- 如何使用Python plt像MATLAB一样绘图
- 像老大一样优化Python
- 像访问Sql一样访问Excel
- datagridview像EXCEL一样加颜色
- 像TransactionScope一样使用DbTransaction
- 像黑客一样使用Linux
- 像 IDE 一样使用 vim
- 像Excel一样复制DataGridView中的单元格区域数据 DataGridView 使用
- db2像oracle一样使用hints(guidelines)
- python unittest 像 TestNG 一样prodvider
- 如何像Python高手(Pythonista)一样编程
- 如何像Python高手(Pythonista)一样编程
- 如何让PHP像python一样编程
- 像计算机科学家一样思考Python pdf
- [原创]使用PowerShell来完成像awk一样对多个文件的筛选(二)
- 像Excel一样使用Python(一)
- Kylin 的cube创建成功 但Build失败
- AX 2012 快速编译
- linux在Memecache的安装
- CSS实现圆角,三角,五角星,五边形,爱心,12角星,8角星,圆,椭圆,圆圈,八卦等等
- 像Excel一样使用Python(二)
- cocos2d-lua自学笔记(纯属个人想法,不当之处请见谅)
- OOP编程|我拿你当朋友,你却把我当爸爸
- druid 配置详解
- 导弹拦截(数据加强版n<=300000)
- 机器学习|回归问题与python实现
- codeforces D. Fedor and coupons 贪心+优先队列
- RabbitMQ入门教程【1】-Hello World
- Spring MVC 读取静态资源时404错误