python 的pandas DataFrame大全

导言：对python的数据分析包的pandas不可不提，其中数据透视表DataFrame的数据处理能力很是强大；

1.导入pandas

import pandas as pdDataFrame = pd.DataFrame

2.数据读入

data = pd.read_csv(path, sep = '\t', header='infer') 

3.常用命令

df = DataFrame() #创建DataFrame对象

df.dtypes #查看各行的数据格式

df.head() #查看前几行的数据,默认前5行

df.tail() #查看后几行的数据,默认后5行

df.index #查看索引

df.columns #查看列名

df.values #查看数据值

df.describe #描述性统计

df.T #转置

df.sort(columns = '') #按列名进行排序

df.sort_index(by=['','']) #多列排序,使用时报该函数已过时,请用sort_values

df.sort_values(by=['','']) #同上

4.常用DataFrame命令

4.1、使用DataFrame选择数据(类似SQL中的LIMIT):

df[‘客户名称’] #显示列名下的数据

df[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据

df.loc[:0,['用户号码','产品名称']] #获取选择区域内的数据,逗号前是行范围,逗号后是列范围,注loc通过标签选择数据,iloc通过位置选择数据

df['套餐'].drop_duplicates() #剔除重复行数据

4.2、使用DataFrame重置数据:

df.at[df_obj.index,'支局_维护线']='自有厅' #通过标签设置新的值,如果使用iat则是通过位置设置新的值

4.3、使用DataFrame筛选数据(类似SQL中的WHERE):

list = ['023-18996609823']

df['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture

df[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

4.4、使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次

4.5、使用DataFrame进行数据转换(后期补充说明)

df['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式

df['支局_维护线'].drop_duplicates() #返回一个移除重复行的数据

可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep='last'

4.6、使用pandas中读取文本数据:

read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等

4.7使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):对类别型变量很有用

data['用户标识'].groupby(data_obj['支局_维护线'])

data.groupby('支局_维护线')['用户标识'] #上面的简单写法

adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL

4.8、使用pandas合并数据集(类似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.

 PS：参考pandas操作参考