Jupyter notebook和pandas的基本使用

这里先学习下Anaconda的Jupyter的用法：

1. Jupyter notebook的使用

（1）更改Jupyter notebook的工作空间

• 进入工作目录文件夹
• 键盘Shift+鼠标右键（同时按下）->在此处打开命令窗口-> 在弹出的命令窗口中输入：Jupyter Notebook
  
• Jupyter会被打开，并且定位到当前目录！

（2）Jupyter的各种快捷键

• 执行当前cell，并自动跳到下一个cell：Shift+Enter
• 执行当前cell，执行后不自动调转到下一个cell：Ctrl+Enter
• 使当前的cell进入编辑模式：Enter
• 退出当前cell的编辑模式：Esc
• 删除当前的cell：双击按键d
• 为当前的cell加入line number：单L
• 将当前的cell转化为具有一级标题的maskdown：单1
• 将当前的cell转化为具有二级标题的maskdown：单2
• 将当前的cell转化为具有三级标题的maskdown：单3
• 为一行或者多行添加/取消注释：Crtl /
• 撤销对某个cell的删除：z
• 浏览器的各个Tab之间切换：Crtl PgUp和Crtl PgDn
• 快速跳转到首个cell：Crtl Home
• 快速跳转到最后一个cell：Crtl End

（3）Jupyter Notebook导入代码

将本地的.py文件load到jupyter的一个cell中

例如：现在有一个test.py文件，需要将其载入到jupyter的一个cell中
（1）在需要导入该段代码的cell中输入：%load test.py，其中test.py是当前路径下的一个python文件。
（2）运行该cell ：利用快捷键“Shift+Enter”
（3）可以看到，运行后，%load test.py被自动加入了注释符号#，test.py中的所有代码都被load到了当前的cell中。

（4）Jupyter运行python文件

利用jupyter的cell是可以运行python文件的，即在cell中运行如下代码
%run file.py：file.py为要运行的python程序，结果会显示在该cell中 。

（5）为Jupyter Notebook添加目录功能

原始的Jupyter是不支持markdown添加目录功能的，但可以利用Jupyter notebook extensions去使得这种功能实现。
具体步骤：

• 利用Anaconda安装Jupyter Notebook extensions
  

  conda install -c conda-forge jupyter_contrib_nbextensions
  如果是同时安装了Anaconda2和Anaconda3的话，会报错。

• 打开Jupyter Notebook，在它的（新增的）Nbextensions标签下勾选“Table of Contents(2)
• 打开一个.jpynb文件，目录功能可用了！

（6）在jupyter中设置link，需要设置两部分：

• 要跳到的位置(the destination) ，需要在要跳转到的位置添加下面语句:

（7）Jupyter的一些技巧

• 获取current working directory：即当前运行的代码所在的路径
  具体方法：current_path = %pwd 这样得到的current_path就是当前工作路径的字符串。
  

• 使用Matplotlib绘图

在Jupyter Notebook中，如果使用Matplotlib绘图，有时是弹不出图像框的，此时，可以在开头加入：%matplotlib inline

参考：http://blog.csdn.net/tina_ttl/article/details/51031113

2. pandas中DataFrame类型数据操作函数

2.1 基本使用

python数据分析工具pandas中DataFrame和Series作为主要的数据结构，这里整理下：

（1）查看DataFrame数据及属性：

• df_obj = DataFrame() # 创建DataFrame对象
• df_obj.dtypes # 查看各行的数据格式
• df_obj[‘列名’].astype(int) # 转换某列的数据类型
• df_obj.head() # 查看前几行的数据，默认前5行
• df_obj.tail() # 查看后几行的数据,默认后5行
• df_obj.index # 查看索引
• df_obj.columns # 查看列名
• df_obj.values # 查看数据值
• df_obj.describe() # 描述性统计
• df_obj.T # 转置
• df_obj.sort_values(by=[”,”])

（2）使用DataFrame操作数据：

• df_obj.ix[1:3] # 获取1-3行的数据，切片操作获取行数据
• df_obj.ix[columns_index] # 获取列的数据
• df_obj.ix[1:3，[1,3]] # 获取1列和3列的1~3行数据
• df_obj[columns].drop_duplicates() # 剔除重复行数据
• df_obj.ix[1:3，[1,3]]=1 # 所选位置数据替换为1

（3）使用DataFrame筛选数据(类似SQL中的WHERE):

alist = ['023-18996609823']df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回turedf_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

（4）使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次

（5）使用DataFrame进行数据转换

df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')  # 可以使用正则表达式

可以设置take_last=ture保留最后一个,或保留开始一个。
补充说明：注意take_last=ture已过时，请使用keep=last。

（6）使用pandas中读取数据:

read_csv(r'D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等df.to_excel('foo.xlsx',sheet_name='Sheet1')  # 写入读取excel数据pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])pd.read_excel # 读取的数据是以DataFrame形式存储df.to_hdf('foo.h5','df')pd.read_hdf('foo.h5','df')#写入读取HDF5数据

（7）使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):

data_obj['用户标识'].groupby(data_obj['支局_维护线'])data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL

（8）清理数据

df[df.isnull()]df[df.notnull()]df.dropna() # 将所有含有nan项的row删除df.dropna(axis=1,thresh=3) # 将在列的方向上三个为NaN的项删除df.dropna(how='ALL')# 将全部项都是nan的row删除填充值df.fillna(0)df.fillna({1:0,2:0.5}) # 对第一列nan值赋0，第二列赋值0.5df.fillna(method='ffill') # 在列方向上以前一个值作为值赋给NaN

2.2 示例：

DataFrame提供的是一个类似表的结构，由多个Series组成，而Series在DataFrame中叫columns。
（1）参数：二维array和Series 列表的区别

import pandas as pd import numpy as nps1=np.array([1,2,3,4])s2=np.array([5,6,7,8])df1=pd.DataFrame([s1,s2])print df1print  '.............................'s3=pd.Series(np.array([1,2,3,4]))s4=pd.Series(np.array([5,6,7,8]))df2=pd.DataFrame([s3,s4])print df2  

从运行结果可以看出Series效果与二维array相同。

（2）value为Series的字典结构时：

import pandas as pdimport numpy as nps1=pd.Series(np.array([1,2,3,4]))s2=pd.Series(np.array([5,6,7,8]))df=pd.DataFrame({"a":s1,"b":s2});print df

（3）df.ix[条件，then操作区域]：if-then 操作

import pandas as pd import numpy as npdf=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})print dfprint '.....................'df.ix[df.A>1,'B']= -1print df

有点类似列表推导式。。

（4）np.where(条件，then，else)

import pandas as pd import numpy as npdf=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})print dfprint '.............'df["then"]=np.where(df.A<3,1,0)print df

（5）根据条件选择取DataFrame：

直接取值df.[]和.loc[]

import pandas as pd import numpy as npdf=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})print dfprint '............'df=df[df.A>=2]print dfprint '............'df=df.loc[df.A>=2]print df

（6）

import pandas as pd import numpy as npfrom functools import reducedf = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})Crit1 = df.AAA <= 5.5Crit2 = df.BBB == 10.0Crit3 = df.CCC > -40.0print dfprint '....................'print Crit1print '....................'AllCrit = Crit1 & Crit2 & Crit3CritList = [Crit1,Crit2,Crit3]print CritListAllCrit = reduce(lambda x,y: x & y, CritList)print '.....................'print AllCritprint df[AllCrit] 

df = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})Crit1 = df.AAA <= 5.5Crit2 = df.BBB == 10.0Crit3 = df.CCC > -40.0print dfprint '....................'print Crit1print '....................'AllCrit = Crit1 & Crit2 & Crit3CritList = [Crit1,Crit2,Crit3]print CritListAllCrit = reduce(lambda x,y: x & y, CritList)print '.....................'print AllCritprint df[AllCrit]

   AAA  BBB  CCC0    4   10  1001    5   20   502    6   30  -303    7   40  -50....................0     True1     True2    False3    FalseName: AAA, dtype: bool....................[0     True1     True2    False3    FalseName: AAA, dtype: bool, 0     True1    False2    False3    FalseName: BBB, dtype: bool, 0     True1     True2     True3    FalseName: CCC, dtype: bool].....................0     True1    False2    False3    Falsedtype: bool   AAA  BBB  CCC0    4   10  100

python中的reduce内建函数是一个二元操作函数，他用来将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 func()（必须是一个二元操作函数）先对集合中的第1，2个数据进行操作，得到的结果再与第三个数据用func()函数运算，最后得到一个结果。

（7）Grouping的使用：

groupby 形成group和get_group 取出其中一分组

import pandas as pd import numpy as npdf = pd.DataFrame({'animal': 'cat dog cat fish dog cat cat'.split(),                  'size': list('SSMMMLL'),                  'weight': [8, 10, 11, 1, 20, 12, 12],                  'adult' : [False] * 5 + [True] * 2});print df#列出动物中weight最大的对应sizegroup=df.groupby("animal").apply(lambda subf: subf['size'][subf['weight'].idxmax()])print group

cookbook

参考：http://blog.csdn.net/ly_ysys629/article/details/54428838