python数据清洗

1.缺失值的处理

对于数据中缺失的值，可以有3种方法处理：
1.删除。比如餐厅的营业额，有几天去装修了，确实没营业，可以删除
2.不处理：有一些模型可以将缺失值作为一种特殊的值，可以直接建模。
3.补上：
均值/中位数/众数：一般情况吧
固定值：比如工资啊，补贴啊
最近临插补：最近的值，相邻的，补上

下面是拉格朗日插值法
原理可以参考下面的博客
http://blog.csdn.net/a1368783069/article/details/51491749

#-*- coding: utf-8 -*-#拉格朗日插值代码import pandas as pd #导入数据分析库Pandasfrom scipy.interpolate import lagrange #导入拉格朗日插值函数inputfile = 'E:/PythonMaterial/chapter4/demo/data/catering_sale.xls' #销量数据路径outputfile = 'E:/PythonMaterial/chapter4/demo/data/sales.xls' #输出数据路径#data 为 DataFrame 类型data = pd.read_excel(inputfile) #读入数据#将异常值作为空值处理data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值，将其变为空值#自定义列向量插值函数#s为列向量，指的是数据表中的一列；n为被插值的位置；k为取前后的数据个数，默认为5，取这个数前面和后面的5个数来做，如果把全部数据集都放进去，算不过来def ployinterp_column(s, n, k=5):    #range是从参数1到参数2-1    y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数，此时y就是前5个数以及后5个数，总共10个数    #剔除空值,因为range之后，y可能会取到下标不在数据集中的位置，比如当n是0的时候，前面5个数是没有的，    #或者在数据集中但本身就是空值的，这些值在y中都表示为none，所以去掉空之后，y就全部是有效值了    y = y[y.notnull()]     return lagrange(y.index, list(y))(n) #x列是y的下标，插值并返回插值结果#逐个元素判断是否需要插值#首先从每一列开始判断，一列一列的做for i in data.columns:    #j表示这列中的每个元素，下标是0~len-1    for j in range(len(data)):        #为什么j是放在后面的，我是没搞懂        if (data[i].isnull())[j]: #如果为空即插值。            data[i][j] = ployinterp_column(data[i], j)data.to_excel(outputfile) #输出结果，写入文件

非常坑的是，这个最后的结果第一行居然是负数，也是醉了。说明这个看起来高大上的算法也不过如此嘛。所以还不如取平均数呢。

2.异常值处理

首先将这些异常值变为空值，然后按照空值进行处理