异常值侦查

来源:互联网 发布:java获取webapps路径 编辑:程序博客网 时间:2024/04/30 23:52
Spss中异常值检查方法:
检查异常值方法1:
       最常用的方法就是对变量进行排序,这也是最简单的方法。排序后对照最大值和最小值、全距等统计量可以看出数据的离群状况。

检查异常值方法2:
       散点图的优势就在于直观的呈现两两变量间的关系,尤其在两变量间的线性关联比较强的时候,如果有离群值,图形侦察的结果会很明显,不过(也包括矩阵散点等图形)其局限在于,其本质还是变量间的两两间的关系,更多的多维信息的提供还是需要经验去判断。

检查异常值方法3:
       箱体图为我们提供了数据百分位数的概念,例如四分位数(25%和75%)是将该变量分成约4个部分,分别提供了数据不同分位点附件的离散性,而且同时提供描述数据集中性的中位数,这样在中间50%的数据上提供的信息将是异常丰富的。

检查异常值方法4:
       在主要统计建模过程中大多会提供异常值或极端值的诊断,例如距离的测算:cook距离、杠杆值等;影响统计量:DfBeta、协方差比率等。它们均有相应的经验上的判断标准,如果有些指标没有相应的判断异常值的标准,则可以通过排序的方式,找到其相对大小。

检查异常值方法5:
       标识异常个案,这里提供的是统计建模的方式侦查异常个案(注意它的结果有可能和我们其他方式侦查的结果有出处),这种方法主要通过两步聚类的思想,找到不同个案间的相似性,通过对所在类别的评价计算出异常索引,然后找到对应的ID号,则该个案可能为异常值,至于对这些异常个案怎么处理,分析人员作出何种决定,这个最好结合专业背景综合判断后续的处理方法。

检查异常值方法6:
       如果涉及的是时序数据,控制图是不错的选择,在控制规则里提供了异常丰富的侦查异常个案的选项。
当然其他过程里也有一些细节的处理,例如,排列图、误差条形图、可视离散化、缺失值诊断、数据验证过程等。
原创粉丝点击