箱体模型数据分析

来源:互联网 发布:游泳耳机 知乎 编辑:程序博客网 时间:2024/04/28 06:22
数据质量分析,是数据挖掘中数据准备过程中的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础。
其主要任务是检测原始数据中是否存在脏数据,脏数据一般包括:缺失值、异常值、不一致值、重复数据及含有特殊符号的数据。
其中异常值分析时对样本中个别值的提取,也成为离群点分析。
可以采用(1)简单统计量分析(2)3б原则(正态分布)(3)箱型图分析

下图为对一组数据进行异常分析之前所做的数据分析-数据预处理阶段进行箱体分析,同时对于统计数据进行计算。


统计数据上分析,其他的可以作为异常数据进行分析,讨论并作进一步处理
学习参考与Python数据分析与挖掘实战.pdf