用Pandas完成Excel中常见的任务

转自：http://python.jobbole.com/80870/

本文由 伯乐在线 - 艾凌风 翻译，Daetalus 校稿。未经许可，禁止转载！
英文出处：pbpython.com。欢迎加入翻译组。

引言

本文的目的，是向您展示如何使用pandas 来执行一些常见的Excel任务。有些例子比较琐碎，但我觉得展示这些简单的东西与那些你可以在其他地方找到的复杂功能同等重要。作为额外的福利，我将会进行一些模糊字符串匹配，以此来展示一些小花样，以及展示pandas是如何利用完整的Python模块系统去做一些在Python中是简单，但在Excel中却很复杂的事情的。

有道理吧？让我们开始吧。

为某行添加求和项

我要介绍的第一项任务是把某几列相加然后添加一个总和栏。

首先我们将excel 数据 导入到pandas数据框架中。

importpandasaspdimportnumpyasnpdf=pd.read_excel("excel-comp-data.xlsx")df.head()

我们想要添加一个总和栏来显示Jan、Feb和Mar三个月的销售总额。

在Excel和pandas中这都是简单直接的。对于Excel，我在J列中添加了公式sum(G2:I2)。在Excel中看上去是这样的：

下面，我们是这样在pandas中操作的：

df["total"]=df["Jan"]+df["Feb"]+df["Mar"]df.head()

接下来，让我们对各列计算一些汇总信息以及其他值。如下Excel表所示，我们要做这些工作：

如你所见，我们在表示月份的列的第17行添加了SUM(G2:G16)，来取得每月的总和。

进行在pandas中进行列级别的分析很简单。下面是一些例子：

df["Jan"].sum(),df["Jan"].mean(),df["Jan"].min(),df["Jan"].max()

<span class="crayon-sy" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(51, 51, 51) !important; background-color: rgb(248, 248, 255);">(</span><span class="crayon-cn" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 153, 153) !important; background-color: rgb(248, 248, 255);">1462000</span><span class="crayon-sy" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(51, 51, 51) !important; background-color: rgb(248, 248, 255);">,</span><span class="crayon-h" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 111, 224) !important; background-color: rgb(248, 248, 255);"></span><span class="crayon-cn" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 153, 153) !important; background-color: rgb(248, 248, 255);">97466.666666666672</span><span class="crayon-sy" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(51, 51, 51) !important; background-color: rgb(248, 248, 255);">,</span><span class="crayon-h" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 111, 224) !important; background-color: rgb(248, 248, 255);"></span><span class="crayon-cn" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 153, 153) !important; background-color: rgb(248, 248, 255);">10000</span><span class="crayon-sy" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(51, 51, 51) !important; background-color: rgb(248, 248, 255);">,</span><span class="crayon-h" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 111, 224) !important; background-color: rgb(248, 248, 255);"></span><span class="crayon-cn" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(0, 153, 153) !important; background-color: rgb(248, 248, 255);">162000</span><span class="crayon-sy" style="font-family: inherit; white-space: pre; border: 0px; margin: 0px; padding: 0px; height: inherit; font-size: inherit !important; font-weight: inherit !important; line-height: inherit !important; color: rgb(51, 51, 51) !important; background-color: rgb(248, 248, 255);">)</span>

现在我们要把每月的总和相加得到它们的和。这里pandas和Excel有点不同。在Excel的单元格里把每个月的总和相加很简单。由于pandas需要维护整个DataFrame的完整性，所以需要一些额外的步骤。

首先，建立所有列的总和栏

sum_row=df[["Jan","Feb","Mar","total"]].sum()sum_row

Jan      1462000Feb      1507000Mar      717000total    3686000dtype:int64

<span style="font-family: 'Microsoft YaHei', 宋体, 'Myriad Pro', Lato, 'Helvetica Neue', Helvetica, Arial, sans-serif; background-color: rgb(255, 255, 255);">这很符合直觉，不过如果你希望将总和值显示为表格中的单独一行，你还需要做一些微调。</span>

我们需要把数据进行变换，把这一系列数字转换为DataFrame，这样才能更加容易的把它合并进已经存在的数据中。T 函数可以让我们把按行排列的数据变换为按列排列。

df_sum=pd.DataFrame(data=sum_row).Tdf_sum

在计算总和之前我们要做的最后一件事情是添加丢失的列。我们使用reindex来帮助我们完成。技巧是添加全部的列然后让pandas去添加所有缺失的数据。

df_sum=df_sum.reindex(columns=df.columns)df_sum

现在我们已经有了一个格式良好的DataFrame，我们可以使用append来把它加入到已有的内容中。

df_final=df.append(df_sum,ignore_index=True)df_final.tail()

额外的数据变换

另外一个例子，让我们尝试给数据集添加状态的缩写。

对于Excel，最简单的方式是添加一个新的列，对州名使用vlookup函数并填充缩写栏。

我进行了这样的操作，下面是其结果的截图：

你可以注意到，在进行了vlookup后，有一些数值并没有被正确的取得。这是因为我们拼错了一些州的名字。在Excel中处理这一问题是一个巨大的挑战（对于大型数据集而言）

幸运的是，使用pandas我们可以利用强大的python生态系统。考虑如何解决这类麻烦的数据问题，我考虑进行一些模糊文本匹配来决定正确的值。

幸运的是其他人已经做了很多这方面的工作。fuzzy wuzzy库包含一些非常有用的函数来解决这类问题。首先要确保你安装了他。

我们需要的另外一段代码是州名与其缩写的映射表。而不是亲自去输入它们，谷歌一下你就能找到这段代码code。

首先导入合适的fuzzywuzzy函数并且定义我们的州名映射表。

from fuzzywuzzy import fuzzfrom fuzzywuzzy import processstate_to_code={"VERMONT":"VT","GEORGIA":"GA","IOWA":"IA","Armed Forces Pacific":"AP","GUAM":"GU",                "KANSAS":"KS","FLORIDA":"FL","AMERICAN SAMOA":"AS","NORTH CAROLINA":"NC","HAWAII":"HI",                "NEW YORK":"NY","CALIFORNIA":"CA","ALABAMA":"AL","IDAHO":"ID","FEDERATED STATES OF MICRONESIA":"FM",                "Armed Forces Americas":"AA","DELAWARE":"DE","ALASKA":"AK","ILLINOIS":"IL",                "Armed Forces Africa":"AE","SOUTH DAKOTA":"SD","CONNECTICUT":"CT","MONTANA":"MT","MASSACHUSETTS":"MA",                "PUERTO RICO":"PR","Armed Forces Canada":"AE","NEW HAMPSHIRE":"NH","MARYLAND":"MD","NEW MEXICO":"NM",                "MISSISSIPPI":"MS","TENNESSEE":"TN","PALAU":"PW","COLORADO":"CO","Armed Forces Middle East":"AE",                "NEW JERSEY":"NJ","UTAH":"UT","MICHIGAN":"MI","WEST VIRGINIA":"WV","WASHINGTON":"WA",                "MINNESOTA":"MN","OREGON":"OR","VIRGINIA":"VA","VIRGIN ISLANDS":"VI","MARSHALL ISLANDS":"MH",                "WYOMING":"WY","OHIO":"OH","SOUTH CAROLINA":"SC","INDIANA":"IN","NEVADA":"NV","LOUISIANA":"LA",                "NORTHERN MARIANA ISLANDS":"MP","NEBRASKA":"NE","ARIZONA":"AZ","WISCONSIN":"WI","NORTH DAKOTA":"ND",                "Armed Forces Europe":"AE","PENNSYLVANIA":"PA","OKLAHOMA":"OK","KENTUCKY":"KY","RHODE ISLAND":"RI",                "DISTRICT OF COLUMBIA":"DC","ARKANSAS":"AR","MISSOURI":"MO","TEXAS":"TX","MAINE":"ME"}

这里有些介绍模糊文本匹配函数如何工作的例子。

process.extractOne("Minnesotta",choices=state_to_code.keys())

('MINNESOTA', 95)

process.extractOne("AlaBAMMazzz",choices=state_to_code.keys(),score_cutoff=80)

现在我知道它是如何工作的了，我们创建自己的函数来接受州名这一列的数据然后把他转换为一个有效的缩写。这里我们使用score_cutoff的值为80。你可以做一些调整，看看哪个值对你的数据来说比较好。你会注意到，返回值要么是一个有效的缩写，要么是一个np.nan 所以域中会有一些有效的值。

def convert_state(row):    abbrev=process.extractOne(row["state"],choices=state_to_code.keys(),score_cutoff=80)    if abbrev:        return state_to_code[abbrev[0]]    return np.nan

把这列添加到我们想要填充的单元格，然后用NaN填充它

df_final.insert(6,"abbrev",np.nan)df_final.head()

我们使用apply 来把缩写添加到合适的列中。

df_final['abbrev']=df_final.apply(convert_state,axis=1)df_final.tail()

我觉的这很酷。我们已经开发出了一个非常简单的流程来智能的清理数据。显然，当你只有15行左右数据的时候这没什么了不起的。但是如果是15000行呢？在Excel中你就必须进行一些人工清理了。

分类汇总

在本文的最后一节中，让我们按州来做一些分类汇总（subtotal）。

在Excel中，我们会用subtotal 工具来完成。

输出如下：

在pandas中创建分类汇总，是使用groupby 来完成的。

df_sub=df_final[["abbrev","Jan","Feb","Mar","total"]].groupby('abbrev').sum()df_sub

然后，我们想要通过对data frame中所有的值使用 applymap 来把数据单位格式化为货币。

def money(x):    return"${:,.0f}".format(x) formatted_df=df_sub.applymap(money)formatted_df

格式化看上去进行的很顺利，现在我们可以像之前那样获取总和了。

sum_row=df_sub[["Jan","Feb","Mar","total"]].sum()sum_rowJan      1462000Feb      1507000Mar      717000total    3686000dtype:int64

把值变换为列然后进行格式化。

df_sub_sum=pd.DataFrame(data=sum_row).Tdf_sub_sum=df_sub_sum.applymap(money)df_sub_sum

最后，把总和添加到DataFrame中。

final_table=formatted_df.append(df_sub_sum)final_table

你可以注意到总和行的索引号是‘0’。我们想要使用rename 来重命名它。

final_table=final_table.rename(index={0:"Total"})final_table

结论

到目前为止，大部分人都已经知道使用pandas可以对数据做很多复杂的操作——就如同Excel一样。因为我一直在学习pandas，但我发现我还是会尝试记忆我是如何在Excel中完成这些操作的而不是在pandas中。我意识到把它俩作对比似乎不是很公平——它们是完全不同的工具。但是，我希望能接触到哪些了解Excel并且想要学习一些可以满足分析他们数据需求的其他替代工具的那些人。我希望这些例子可以帮助到其他人，让他们有信心认为他们可以使用pandas来替换他们零碎复杂的Excel，进行数据操作。

我发现这个练习会帮助我加强记忆。我希望这对你来说同样有帮助。如果你有一些其他的Excel任务想知道如何用pandas来完成它，请通过评论来告诉我，我会尽力帮助你。

本文由 伯乐在线 - 艾凌风 翻译，Daetalus 校稿。未经许可，禁止转载！
英文出处：pbpython。欢迎加入翻译组。

介绍

读者对于本系列第一篇文章的回应，让我感到很兴奋。感谢大家正面的反馈。我想把本系列继续下去，重点介绍其他的一些你经常使用Excel完成的任务，并且展示给你如何在pandas中使用相同的功能。

在第一篇文章中，我着重介绍了Excel中常见的数学计算工作，以及在pandas如何完成这些工作。在本文中，我们将着重介绍一些常见的选择和筛选任务，并且介绍如何在pandas中完成同样的事情。

设置

如果您想要继续下去，您可以下载本excel文件。

导入pandas和numpy模块。

导入我们样本公司销售年销售额的Excel文件。

import pandas as pdimport numpy as np

df=pd.read_excel('sample-salesv3.xlsx')

快速浏览一下数据类型，以确保所以事情都能如预期一样运行。

df.dtypes

account number             int64name                      objectsku                       objectquantity                   int64unit price               float64ext price                float64date              datetime64[ns]dtype: object

你会注意到，我们的date列，显示的是一个通用对象。我们准备把它转换为日期对象，来简化将来会用到的一些选择操作。

df['date']=pd.to_datetime(df['date'])

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:511714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 10:00:472218895Kulas IncB1-699242390.702086.102014-01-01 13:24:583307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 15:05:224412290Jerde-HilpertS2-34077683.21499.262014-01-01 23:26:55

现在，data变成了一个datetime类型的对象，这对于将来的操作是很有用的。

筛选数据

我认为在Excel中最方便的功能是筛选。我想几乎每一次有人拿到一个任意大小的Excel文件，当他们想要筛选数据的时候，都会使用这个功能。

如图，对本数据集使用该功能：

同Excel中的筛选功能一样，你可以使用pandas来筛选和选择某个特定数据的子集。

比方说，如果我们仅仅想查看一个特定的账号，我们可以简单是在Excel中完成，或是使用pandas完成操作。

下面是Excel的筛选解决方案：

在pandas中执行相关操作比Excel中更加直观。注意，我将会使用head 函数来显示前面几个结果。这仅仅是为了让本文保持简短。

df[df["account number"]==307599].head()

你还可以以数值为基准来进行筛选。我就不再举任何Excel的例子了。我相信你能明白。

df[df["quantity"]>22].head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:512218895Kulas IncB1-699242390.702086.102014-01-01 13:24:583307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 15:05:2214737550Fritsch, Russel and AndersonB1-531022371.561645.882014-01-04 08:57:4815239344Stokes LLCS1-065323471.512431.342014-01-04 11:34:58

如果我们想要更多复杂的筛选，我们可以可以使用map 来以多重标准进行筛选。在这个例子中，从B1中查找以“sku”中起始的项目。

df[df["sku"].map(lambdax:x.startswith('B1'))].head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:512218895Kulas IncB1-699242390.702086.102014-01-01 13:24:586218895Kulas IncB1-65551231.1062.202014-01-02 10:57:2314737550Fritsch, Russel and AndersonB1-531022371.561645.882014-01-04 08:57:4817239344Stokes LLCB1-508091416.23227.222014-01-04 22:14:32

把两个或更多的语句连接起来很简单，用&就可以。

df[df["sku"].map(lambdax:x.startswith('B1'))&(df["quantity"]>22)].head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:512218895Kulas IncB1-699242390.702086.102014-01-01 13:24:5814737550Fritsch, Russel and AndersonB1-531022371.561645.882014-01-04 08:57:4826737550Fritsch, Russel and AndersonB1-536364242.061766.522014-01-08 00:02:1131714466Trantow-BarrowsB1-330873219.56625.922014-01-09 10:16:32

pandas支持的另外一个很有用的函数是isin。它使得我们可以定义一个列表，里面包含我们所希望查找的值

在这个例子中，我们查找包含两个特定account number值的全部项目。

df[df["accountnumber"].isin([714466,218895])].head()

 account numbernameskuquantityunit priceext pricedate1714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 10:00:472218895Kulas IncB1-699242390.702086.102014-01-01 13:24:585714466Trantow-BarrowsS2-778961787.631489.712014-01-02 10:07:156218895Kulas IncB1-65551231.1062.202014-01-02 10:57:238714466Trantow-BarrowsS1-509612284.091849.982014-01-03 11:29:02

pandas支持的另外一个函数叫做query，它使得我们可以有效的再数据集中选择数据。使用它需要安装numexpr ，所以请确保你在进行下面步骤前已经进行了安装。

如果你想要通过名字来得到一个消费者列表，你可以使用query来完成，和前面展示的python语法类似。

df.query('name == ["Kulas Inc","Barton LLC"]').head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:512218895Kulas IncB1-699242390.702086.102014-01-01 13:24:586218895Kulas IncB1-65551231.1062.202014-01-02 10:57:2333218895Kulas IncS1-06532322.3667.082014-01-09 23:58:2736218895Kulas IncS2-340771673.041168.642014-01-10 12:07:30

这里只是做个简单的示例，query函数能做到的还不止这些。我在此展示这些函数的用法，以便当你有需要的时候，会意识到可以用它。

处理日期

使用pandas，你可以对日期进行更加复杂的筛选。在我们处理日期前，我建议你把日期栏进行一个排序，以便返回的结果如你所愿。

df=df.sort('date')df.head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:511714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 10:00:472218895Kulas IncB1-699242390.702086.102014-01-01 13:24:583307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 15:05:224412290Jerde-HilpertS2-34077683.21499.262014-01-01 23:26:55

在操作日期前，为您展示python的筛选语法。

df[df['date']>='20140905'].head()

 account numbernameskuquantityunit priceext pricedate1042163416Purdy-KundeB1-388514198.694046.292014-09-05 01:52:321043714466Trantow-BarrowsS1-30248137.1637.162014-09-05 06:17:191044729833Koepp LtdS1-654814816.04769.922014-09-05 08:54:411045729833Koepp LtdS2-11481626.50159.002014-09-05 16:33:151046737550Fritsch, Russel and AndersonB1-33364476.44305.762014-09-06 08:59:08

pandas的一个特别棒的特性是它能够理解日期，所以它允许我们进行部分筛选。如果我只想要查看最近几个月的日期数据，我可以这样做。

df[df['date']>='2014-03'].head()

 account numbernameskuquantityunit priceext pricedate242163416Purdy-KundeS1-302481965.031235.572014-03-01 16:07:40243527099Sanford and SonsS2-82423376.21228.632014-03-01 17:18:01244527099Sanford and SonsB1-50809870.78566.242014-03-01 18:53:09245737550Fritsch, Russel and AndersonB1-508092050.111002.202014-03-01 23:47:17246688981Keeling LLCB1-86481-197.16-97.162014-03-02 01:46:44

当然，你可以把筛选标准链接起来。

df[(df['date']>='20140701')&(df['date']<='20140715')].head()

 account numbernameskuquantityunit priceext pricedate778737550Fritsch, Russel and AndersonS1-654813570.512467.852014-07-01 00:21:58779218895Kulas IncS1-30248916.56149.042014-07-01 00:52:38780163416Purdy-KundeS2-824234468.273003.882014-07-01 08:15:52781672390Kuhn-GusikowskiB1-042024899.394770.722014-07-01 11:12:13782642753Pollich LLCS2-23246151.2951.292014-07-02 04:02:39

由于pandas可以理解日期列，所以可以将日期值设为不同的格式，都会得到正确的结果。

 account numbernameskuquantityunit priceext pricedate1168307599Kassulke, Ondricka and MetzS2-23246688.90533.402014-10-08 06:19:501169424914White-TrantowS2-103422558.541463.502014-10-08 07:31:401170163416Purdy-KundeS1-277222234.41757.022014-10-08 09:01:181171163416Purdy-KundeB1-33087779.29555.032014-10-08 15:39:131172672390Kuhn-GusikowskiB1-388513094.642839.202014-10-09 00:22:33

df[df['date']>='10-10-2014'].head()

 account numbernameskuquantityunit priceext pricedate1174257198Cronin, Oberbrunner and SpencerS2-340771312.24159.122014-10-10 02:59:061175740150Barton LLCS1-654812853.001484.002014-10-10 15:08:531176146832Kiehn-SpinkaS1-277221564.39965.852014-10-10 18:24:011177257198Cronin, Oberbrunner and SpencerS2-16558335.34106.022014-10-11 01:48:131178737550Fritsch, Russel and AndersonB1-536361056.95569.502014-10-11 10:25:53

当操作时间序列数据时，如果你把数据进行转化，以日期作为索引，我们可以做一些变相的筛选。

使用set_index 来设置新的索引。

df2=df.set_index(['date'])df2.head()

 account numbernameskuquantityunit priceext pricedate      2014-01-01 07:21:51740150Barton LLCB1-200003986.693380.912014-01-01 10:00:47714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 13:24:58218895Kulas IncB1-699242390.702086.102014-01-01 15:05:22307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 23:26:55412290Jerde-HilpertS2-34077683.21499.26

你可以通过切分数据来获取一段区间。

df2["20140101":"20140201"].head()

 account numbernameskuquantityunit priceext pricedate      2014-01-01 07:21:51740150Barton LLCB1-200003986.693380.912014-01-01 10:00:47714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 13:24:58218895Kulas IncB1-699242390.702086.102014-01-01 15:05:22307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 23:26:55412290Jerde-HilpertS2-34077683.21499.26

再一次的，我们可以使用不同的日期表示方法来避免模棱两可的日期命名惯例。

df2["2014-Jan-1":"2014-Feb-1"].head()

 account numbernameskuquantityunit priceext pricedate      2014-01-01 07:21:51740150Barton LLCB1-200003986.693380.912014-01-01 10:00:47714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 13:24:58218895Kulas IncB1-699242390.702086.102014-01-01 15:05:22307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 23:26:55412290Jerde-HilpertS2-34077683.21499.26

df2["2014-Jan-1":"2014-Feb-1"].tail()

 account numbernameskuquantityunit priceext pricedate      2014-01-31 22:51:18383080Will LLCB1-059144380.173447.312014-02-01 09:04:59383080Will LLCB1-20000733.69235.832014-02-01 11:51:46412290Jerde-HilpertS1-277221121.12232.322014-02-01 17:24:32412290Jerde-HilpertB1-86481335.99107.972014-02-01 19:56:48412290Jerde-HilpertB1-200002378.901814.70

df2["2014"].head()

 account numbernameskuquantityunit priceext pricedate      2014-01-01 07:21:51740150Barton LLCB1-200003986.693380.912014-01-01 10:00:47714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 13:24:58218895Kulas IncB1-699242390.702086.102014-01-01 15:05:22307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 23:26:55412290Jerde-HilpertS2-34077683.21499.26

df2["2014-Dec"].head()

 account numbernameskuquantityunit priceext pricedate      2014-12-01 20:15:34714466Trantow-BarrowsS1-82801377.97233.912014-12-02 20:00:04146832Kiehn-SpinkaS2-232463757.812138.972014-12-03 04:43:53218895Kulas IncS2-778963077.442323.202014-12-03 06:05:43141962Herman LLCB1-531022026.12522.402014-12-03 14:17:34642753Pollich LLCB1-536361971.211352.99

正如你所见到的那样，在进行基于日期的排序或者筛选时，可以有很多选择。

额外的字符串方法

Pandas同样已经支持了矢量字符串方法。

如果我们想识别出sku栏中包含某一特定值的全部值。我们可以使用str.contains。在这个例子中，我们已知sku总是以一种相同的方式表示，所以B1仅会出现在sku的前面。你需要理解你的数据来保证你能够得到你想要的结果。

df[df['sku'].str.contains('B1')].head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:512218895Kulas IncB1-699242390.702086.102014-01-01 13:24:586218895Kulas IncB1-65551231.1062.202014-01-02 10:57:2314737550Fritsch, Russel and AndersonB1-531022371.561645.882014-01-04 08:57:4817239344Stokes LLCB1-508091416.23227.222014-01-04 22:14:32

我们可以把查询连接起来并且使用排序来控制数据的顺序。

df[(df['sku'].str.contains('B1-531')) & (df['quantity']>40)].sort(columns=['quantity','name'],ascending=[0,1])

 account numbernameskuquantityunit priceext pricedate684642753Pollich LLCB1-531024626.071199.222014-06-08 19:33:33792688981Keeling LLCB1-531024541.191853.552014-07-04 21:42:22176383080Will LLCB1-531024589.224014.902014-02-11 04:14:091213604255Halvorson, Crona and ChamplinB1-531024155.052257.052014-10-18 19:27:011215307599Kassulke, Ondricka and MetzB1-531024193.703841.702014-10-18 23:25:101128714466Trantow-BarrowsB1-531024155.682282.882014-09-27 10:42:481001424914White-TrantowB1-531024181.253331.252014-08-26 11:44:30

彩蛋任务

在Excel中，我发现我自己经常会尝试从一个冗长的列表中，得到一个包含不重复项的小列表。在Excel中这件事情需要分几步来完成，但是在Pandas中却非常简单。有一种方式是使用Excel中提供的高级筛选工具来完成。

在pandas中，我们对某列使用这个unique函数来获取这个列表。

df["name"].unique()

如果我们想要包含账户号，我们可以使用 drop_duplicates。

df.drop_duplicates(subset=["account number","name"]).head()

 account numbernameskuquantityunit priceext pricedate0740150Barton LLCB1-200003986.693380.912014-01-01 07:21:511714466Trantow-BarrowsS2-77896-163.16-63.162014-01-01 10:00:472218895Kulas IncB1-699242390.702086.102014-01-01 13:24:583307599Kassulke, Ondricka and MetzS1-654814121.05863.052014-01-01 15:05:224412290Jerde-HilpertS2-34077683.21499.262014-01-01 23:26:55

很显然我们放入了的数据超过了我们的需要，得到了一些无用的信息，因此，使用ix 来仅仅选择第一第二列。

df.drop_duplicates(subset=["account number","name"]).ix[:,[0,1]]

 account numbername0740150Barton LLC1714466Trantow-Barrows2218895Kulas Inc3307599Kassulke, Ondricka and Metz4412290Jerde-Hilpert7729833Koepp Ltd9737550Fritsch, Russel and Anderson10146832Kiehn-Spinka11688981Keeling LLC12786968Frami, Hills and Schmidt15239344Stokes LLC16672390Kuhn-Gusikowski18141962Herman LLC20424914White-Trantow21527099Sanford and Sons30642753Pollich LLC37383080Will LLC51257198Cronin, Oberbrunner and Spencer67604255Halvorson, Crona and Champlin106163416Purdy-Kunde

我认为这个记住这个单独的命令比记忆Excel的各步操作更容易。

如果你想要查看我的笔记 请随意下载。

结论

在我发表了我的第一篇文章之后，Dave Proffer在Twitter上转发了我的文章并评论到“打破你#excel沉迷的一些好技巧”。我觉得这句话非常准确，它描述了在我们的生活中使用Excel是有多么的频繁。大多数的人只管伸手去用却从来没有意识到它的局限性。我希望这个系列的文章可以帮助大家认识到我们还有其他的替代工具，Python+Pandas是一个极其强大的组合。