【跟着stackoverflow学Pandas】Select rows from a DataFrame based on values in a column -pandas 筛选
来源:互联网 发布:和彩云管家 网络异常 编辑:程序博客网 时间:2024/05/19 23:17
最近做一个系列博客,跟着stackoverflow学Pandas。
专栏地址:http://blog.csdn.net/column/details/16726.html
以 pandas作为关键词,在stackoverflow中进行搜索,随后安照 votes 数目进行排序:
https://stackoverflow.com/questions/tagged/pandas?sort=votes&pageSize=15
Select rows from a DataFrame based on values in a column -pandas 筛选
https://stackoverflow.com/questions/17071871/select-rows-from-a-dataframe-based-on-values-in-a-column-in-pandas
pandas的筛选功能,跟excel的筛选功能类似,但是功能更强大。
在SQL数据中, 我们可以用这样的语句:
select * from table where colume_name = some_value.
bool 索引
在Pandas的DataFrame格式中可以采用 bool 值作为索引,选取数据行。比如:
import pandas as pd# Create data setd = {'foo':[100, 111, 222], 'bar':[333, 444, 555]}df = pd.DataFrame(d)# Full dataframe:df# Shows:# bar foo # 0 333 100# 1 444 111# 2 555 222# bool 值索引df[[True, False, True]] # 或 df.loc[[True, False, True]] # 都可以得到# bar foo#0 333 100#1 444 111
所以,如果想通过数值来对行进行筛选,我们可以通过构造bool值来选择DataFrame的行
df[df['column_name'] == some_value]
如果是数值型,也可以采用 >/<df[df['column_name'].isin(some_values)]
some_values 可以是单个变量,也可以是list 或者迭代器组合多种条件
df[(df['column_name'] == some_value) & df['other_column'].isin(some_values)]df[(df['column_name'] == some_value) | df['other_column'].isin(some_values)]#注意,& | 的优先级很高,所以每个条件都需要一个括号
- 不等于,可以使用
df[~df['column_name'].isin(some_values)]df[df['column_name'] != some_value]
np.where
与上面所述的方法有所不同, np.where 返回的是行的位置,所以在获取行时不能采用df, 要采用df.loc 或者 df.iloc
np.where(df.A.values=='foo')# (array([0, 2, 4, 6, 7]),)df.iloc[np.where(df.A.values=='foo')]
query
DataFrame 提供了query函数,方便我们可以采用表达式来进行数据的筛选。
参考:
http://pandas.pydata.org/pandas-docs/version/0.17.0/indexing.html#indexing-query
n = 10df = pd.DataFrame(np.random.randint(n, size=(n, 2)), columns=list('bc'))# b c# 0 9 0# 1 1 2# 2 2 4# 3 7 6# 4 6 4# 5 4 7# 6 2 9# 7 4 8# 8 6 2# 9 9 0df.query('index > b > c')# b c# 8 6 2#可以采用的表达式很多,比如df.query('(a < b) & (b < c)')df.query('a < b and b < c')df.query('color == "red"')
时间测评
import pandas as pddf = pd.DataFrame({'A': 'foo bar foo bar foo bar foo foo'.split(), 'B': 'one one two three two two one three'.split()})df.iloc[np.where(df.A.values=='foo')]%timeit df.iloc[np.where(df.A.values=='foo')]#1000 loops, best of 3: 274 µs per loop%timeit df.loc[np.where(df.A.values=='foo')]#1000 loops, best of 3: 342 µs per loop%timeit df.loc[df['A'] == 'foo']#1000 loops, best of 3: 347 µs per loop%timeit df[df['A'] == 'foo']#1000 loops, best of 3: 354 µs per loop%timeit df.loc[df['A'].isin(['foo'])]#1000 loops, best of 3: 265 µs per loop%timeit df[df.A=='foo']#1000 loops, best of 3: 357 µs per loop%timeit df.query('(A=="foo")')#1000 loops, best of 3: 943 µs per loop
可以发现采用 df.iloc[np.where(df.A.values=='foo')]
和 df.loc[df['A'].isin(['foo'])]
速度比较快, 而采用query的方法比较慢。
df.loc[df['A'] == 'foo']
速度快于 df[df['A'] == 'foo']
- 【跟着stackoverflow学Pandas】Select rows from a DataFrame based on values in a column -pandas 筛选
- 【跟着stackoverflow学Pandas】How to iterate over rows in a DataFrame in Pandas-DataFrame按行迭代
- 【跟着stackoverflow学Pandas】add one row in a pandas.DataFrame -DataFrame添加行
- 【跟着stackoverflow学Pandas】Delete column from pandas DataFrame-删除列
- 【跟着stackoverflow学Pandas】 -Get list from pandas DataFrame column headers
- 【跟着stackoverflow学Pandas】--Converting a Pandas GroupBy object to DataFrame-Groupby对象转换为DataFrame
- 【跟着stackoverflow学Pandas】-How do I get the row count of a Pandas dataframe-获取DataFrame行数
- 【跟着stackoverflow学Pandas】
- 【跟着stackoverflow学Pandas】
- 【跟着stackoverflow学Pandas】Renaming columns in pandas-列的重命名
- 【跟着stackoverflow学Pandas】“Large data” work flows using pandas-pandas大数据处理流程
- 【跟着stackoverflow学Pandas】- 删除带有NaN的行
- 【跟着stackoverflow学Pandas】- apply、applymap、map 三者使用差异
- 如何通过pandas.apply进行整列和整行计算,以及如何处理A value is trying to be set on a copy of a slice from a DataFrame.错误
- pandas系列之 DataFrame 行列数据筛选
- Pandas DataFrame
- Pandas(DataFrame)
- pandas-dataframe
- SpringBoot入门系列:第五篇 JPA mysql
- poj Counterfeit Dollar假币错解
- How many integers can you find HDU
- 如何快速学习掌握PLC
- Python学习笔记(一)三步走安装pip
- 【跟着stackoverflow学Pandas】Select rows from a DataFrame based on values in a column -pandas 筛选
- IEDA学习之Maven项目导入idea步骤详解
- 正则表达式
- static_cast、dynamic_cast、const_cast和reinterpret_cast总结
- 基于vue-cli的Webpack构建
- Spring cloud 学习(一)
- (五)Angular4 英雄征途HeroConquest-多组件开发
- [LintCode]Two Strings Are Anagrams(C++|Java|Python)
- ruby on rails 里pluck和select(map、collect)的区别