python

侦测遗失值

# coding: utf-8# ## 检测缺失值# In[2]:import pandas as pdimport numpy  as npdf = pd.DataFrame([                   ['frank', 'M',    np.nan],                    ['mary' , np.nan, np.nan],                    ['tom'  , 'M',    35],                    ['ted'  , 'M',    33],                    ['jean' , np.nan, 21],                    ['lisa' , 'F',    20]])df.columns = ['name', 'gender', 'age']df# In[38]:df.isnull()# In[4]:# 检查是否含有缺失值（每个元素）df['gender']# In[6]:df['gender'].isnull() # 返回一个boolean 的矩阵# In[13]:# （某字段）df.name.isnull().any() # =可迭代对象是否有一个是True，all 相反# In[23]:df.gender.isnull().any() # In[30]:df.isnull().any()# In[31]:df.isnull().values.any() # 先将序列转为 numpy.ndarray，在判断是否有缺失值# In[33]:# 检测缺失值的个数df.gender.isnull().sum()# In[35]:df.isnull().sum()# In[39]:df.isnull().values.sum()

处理遗失值

1. 当缺失值数量很低时：直接舍弃对应行
2. 其他：使用mean，median，mode，等描述性统计值补齐缺失值
3. 内插法 ：interpolate 官方文档

# coding: utf-8# In[2]:import pandas as pdimport numpy  as npdf = pd.DataFrame([                   ['frank', 'M',    np.nan],                    ['mary' , np.nan, np.nan],                    ['tom'  , 'M',    35],                    ['ted'  , 'M',    33],                    ['jean' , np.nan, 21],                    ['lisa' , 'F',    20]])df.columns = ['name', 'gender', 'age']df# ## 删除缺失值# In[4]:df.dropna() # 只要有nan的值就直接舍去该行# In[9]:df.dropna(how='all') # 缺失所有变量的行，舍去# In[11]:df.dropna(thresh=2) # 缺失变量超过2个，舍去# In[13]:# 处理列df['employee'] = np.nandf# In[16]:df.dropna(axis=1, how='all') # 对于列# ## 填补缺失值# In[18]:df.fillna(0)# In[22]:df['age'].fillna(df['age'].mean())# In[28]:df.groupby('gender')['age'].mean() # n 进 g 出# In[35]:'''分组 -> 拿出变量（列） -> 计算 - > n 进 n 出'''df.groupby('gender')['age'].transform('mean')# In[36]:df['age'].fillna(df.groupby('gender')['age'].transform('mean'), inplace=True) #在原数据集操作df# In[38]:# 向前向后补齐df['age'].fillna(method='ffill')# In[44]:df['age'].fillna(method='bfill', limit=1) # limit限制每列可以被替代NaN的数目# ## 内插法# In[45]:df2 = pd.DataFrame([[1, 870],                    [2, 900],                    [np.nan, np.nan],                    [4, 950],                    [5,1080],                    [6,1200]])df2.columns = ['time', 'val']df2# In[47]:df2.interpolate()