数据清洗--DataFrame中的空值处理

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。

在python中空值被显示为NaN。首先，我们要构造一个包含NaN的DataFrame对象。

>>> import numpy as np>>> import pandas as pd>>> from pandas import Series,DataFrame>>> from numpy import nan as NaN>>> data = DataFrame([[12,'man','13865626962'],[19,'woman',NaN],[17,NaN,NaN],[NaN,NaN,NaN]],columns=['age','sex','phone'])>>> data    age    sex        phone0  12.0    man  138656269621  19.0  woman          NaN2  17.0    NaN          NaN3   NaN    NaN          NaN

删除NaN

删除NaN所在的行

删除表中全部为NaN的行

>>> data.dropna(axis=0, how='all')    age    sex        phone0  12.0    man  138656269621  19.0  woman          NaN2  17.0    NaN          NaN

删除表中任何含有NaN的行

>>> data.dropna(axis=0, how='any')    age  sex        phone0  12.0  man  13865626962

删除NaN所在的列

删除表中全部为NaN的列

>>> data.dropna(axis=1, how='all')    age    sex        phone0  12.0    man  138656269621  19.0  woman          NaN2  17.0    NaN          NaN3   NaN    NaN          NaN

删除表中任何含有NaN的列

>>> data.dropna(axis=1, how='any')Empty DataFrameColumns: []Index: [0, 1, 2, 3]

注意：axis 就是”轴，数轴“的意思，对应多维数组里的”维“。此处作者的例子是二维数组，所以，axis的值对应表示：0轴（行），1轴（列）。

填充NaN

如果不想过滤（去除）数据，我们可以选择使用fillna()方法填充NaN，这里，作者使用数值’0’替代NaN,来填充DataFrame。

>>> data.fillna(0)    age    sex        phone0  12.0    man  138656269621  19.0  woman            02  17.0      0            03   0.0      0            0

我们还可以通过字典来填充，以实现对不同的列填充不同的值。

>>> data.fillna({'sex':233,'phone':666})    age    sex        phone0  12.0    man  138656269621  19.0  woman          6662  17.0    233          6663   NaN    233          666

参考资料：

• 使用python进行数据清洗