读书笔记2：利用Python进行数据分…

pandas两种主要数据结构：Series和DataFrame。大小写敏感
Series：索引index和数据values。
可以看成一个定长的有序字典。
通过字典创建Series：df=Series（s1）s1为字典。
传入字典，结果Series中的索引就是原字典的键（有序排列）
例如s=［‘A’,‘B’］
df1=Series(df,index=s)

NaN：非数字，not a number，在pandas中表示缺失或NA值。
pandas中的isnull和notnull函数用于检测缺失数据。pd.isnull（）。

Series最重要的一个功能：它在算术运算符中自动对齐不同索引的数据。
Series有name属性。例如：df.name=‘hou’或df.index.name=‘state’。
Series的索引可以通过赋值直接修改。

del frame1［‘A’］删除列。
frame1［‘C’］=frame.state==‘Oh'

另一种常见的数据形式：嵌套字典
它传给DataFrame时，解释为：外层字典的键key作为列，内层键则作为行索引。

index对象是不可修改的。

重新索引reindex 例如：df.reindex（［‘A’,‘B’,‘C’］,fill_value=0）当前索引值不存在，为NaN或插值处理（上述fill_value）

reindex的（插值）method选项：
ffill或pad前向填充（或搬运）值
bfill或backfill后向填充（或搬运）值

丢弃指定轴上的項：drop；对于DataFrame，可以删除任意轴上的索引值。

算数运算和数据对齐：

在算术方法中填充值：使用df1的add方法，传入df2以及一个fill_value参数df1.add（df2,fill_value=0）。或重新用reindex建索引。

算术方法：add   加法
sub  减法   div   除法   mul乘法

函数应用和映射：
   numpy的ufuncs（元素级数组方法）也用于操作pandas对象：np.abs（df）。
   将函数应用到各列或行所形成的一维数组上，DataFrame的apply函数。
   元素级的python函数也是可以用的。用applymap得到df中各个浮点值得格式化字符串。例如：df=lambdax：'%.2f'%x
名字由来：Series有一个用于应用元素级的map方法。

排序和排名：
   对数据集排序：内置函数sorting
   对行或列索引进行排序（按字典顺序），可用sort_index，返回已排序的新对象。默认是升序排序。
参数：by=‘’。多列：by=［‘a‘,’b’］

若要按值对Series进行排序，可使用order方法。排序时候，任何缺失值NaN默认都会放到Series末尾。

排名（ranking）：有点没看懂。

索引是否是唯一：用is_unique函数

在描述统计中，NA值会自动被排除，除非整个切片都是NA，通过skipna选项可禁用该功能。

axis约简的轴，DataFrame的行用0，列为1。
skipna：排除缺失值，默认值为True。
level：如果轴是层次化索引（MultiIndex），则根据level分组约简。

间接统计：idxmin和idxmax返回的是间接统计（即达到最小值和最大值的索引。）
argmin和argmax获得到最小值和最大值的索引位置（整数）。

累计值：df.cumsum（）
汇总统计：df.describe（）
mad根据平均值计算平均绝对离差。
var样本值的方差，std是标准差。

相关系数和协方差：

pct_change（）百分数变化

Series的corr方法用于计算两个Series中重叠的，非NA的，按索引对齐的值的相关系数。cov用于计算协方差。可返回DataFrame的矩阵形式。
利用DataFrame的corrwith方法，你可以计算其列或行跟另一个Series或
DataFrame之间的相关系数。
传入一个Series将返回一个相关系数值Series。（针对各列进行计算）
传入DataFrame也是按列名配对的相关系数，axis=1是按行进行计算。

唯一值、值计数以及成员资格：
一维的Series的第一个函数是unique，可以得到Series中的唯一值数组。返回的唯一值是未排序的，如果需要，可对结果再次进行排序（uniques.sort（））。

value_counts用于计算一个Series中各值出现的频率。参数：sort=false是降序排列。

isin用于判断矢量化集合的成员资格，可用于Series或者DataFrame列中的数据的子集。

若想得到DataFrame中多个相关列的一张柱状图，也将pandas.value_counts传给该DataFrame的apply函数。

内置的None值也会被当做NA处理。

NA处理方法：

滤除缺失数据：
Series：
dropna返回一个仅含非空数据和索引值的。
或布尔型索引：df［df.notnull（）］

DataFrame：
dropna默认是丢弃所有缺失值的行。
传入how=‘all’将只丢弃全为NA的那些行。
要用这种方式丢弃列，只需传入axis=1即可。

涉及时间序列数df.dropna（thresh=3）

填充缺失数据：fillna将缺失值替换为常数。
例：df.fillna（1）缺失值全部替换为1。
若为字典时：df.fillna（｛1:2，3:1｝）。

fillna默认会返回新对象。试一试：总是返回被填充对象的引用：_=df.fillna（0，inplace=True）

fillna传入平均数或中位数：df.fillna（df.mean（））。

层次化索引：两个以上索引级别。包含：内层。
层次化索引在数据重塑和基于分组的操作很重要。DataFrame中，df.index.names=［“A”,“B”］
df.columns.names一样的。

重排分级顺序：
swaplevel接受两个级别编号或名称。互换列名，但值不变。
sortlevel则根据单个级别中的值对数据进行排序（稳定的）。
如果层次化索引是按字典方式从外到内排序（则调用sortlevel（0）或sort_index（）），数据选取操作的性能要好很多。

根据级别汇总统计：
level选项：用于指定某条轴上求和的级别。
axis=1相当于pandas的groupby功能。