python pandas消除空值和空格的混淆
来源:互联网 发布:淘宝店铺名称侵权 编辑:程序博客网 时间:2024/05/26 02:54
在人工采集数据时,经常有可能把空值和空格混在一起,一般也注意不到在本来为空的单元格里加入了空格。这就给做数据处理的人带来了麻烦,因为空值和空格都是代表的无数据,而pandas中Series的方法notnull()会把有空格的数据也纳入进来,这样就不能完整地得到我们想要的数据了,这里给出一个简单的方法处理该问题。
方法1:
既然我们认为空值和空格都代表无数据,那么可以先得到这两种情况下的布尔数组。
这里,我们的DataFrame类型的数据集为df,其中有一个变量VIN,那么取得空值和空格的布尔数组为NONE_VIN。然后通过该布尔数组,就能得到我们要的数据了。
NONE_VIN = (df["VIN"].isnull()) | (df["VIN"].apply(lambda x: str(x).isspace()))df_null = df[NONE_VIN]df_not_null = df[~NONE_VIN]
方法2:
直接使用Series的.apply方法来修改变量VIN中的每个值。如果发现是空格,就返回Nan,否则就返回原值。
df["VIN"]=df["VIN"].apply(lambda x: np.NaN if str(x).isspace() else x)df_null = df[df["VIN"].isnull()]df_not_null = df[df["VIN"].notnull()]
总结:
方法1的思路就是直接判定是否为空格,把空格纳入到选择中来。方法2的思路是先把空格转换为NaN,然后正常使用.isnull()或.notnull()来得到我们想要的数据
0 0
- python pandas消除空值和空格的混淆
- python的空格和tab混淆而报错
- python及numpy,pandas易混淆的点
- python解决pandas处理缺失值为空字符串
- 空格字符和空字符的区别
- 消除空格的正则表达式
- 消除字符串开始和结束处的空格,并合并中间多余的空格
- python绘图:matplotlib和pandas的应用
- python绘图:matplotlib和pandas的应用
- python-pandas-Series和DataFrame的基本功能
- python绘图:matplotlib和pandas的应用
- Pandas 创建空的DataFrame
- Java-String的空对象,空值,空格
- Pandas:merge函数使用注意事项(pandas的merge函数造成大量错误的空值)
- Python程序的混淆和加密
- Python程序的混淆和加密
- Python Pandas找到缺失值的位置
- java null和“空值或者空格”是有区别的
- 获取设备型号
- QT5入门之12 - 禁止改变窗体大小
- 关于kali Linux工具打开提示SyntaxError: invalid syntax
- MySQL日期时间函数大全
- 如果访问google
- python pandas消除空值和空格的混淆
- sass入门
- 字符串与正则表达式
- UITableViewCell backgroundColor
- 怎么去掉Xcode工程中的某种类型的警告
- 今天开始写博,关于在Unity这条路上发生的各种事!
- 用 cgroups 管理 cpu 资源
- 黑马程序员——OC学习笔记01 OC基础知识。
- iOS开发——系统架构