R语言处理缺失数据的高级方法
来源:互联网 发布:c语言清屏函数 编辑:程序博客网 时间:2024/05/18 04:32
转载自:http://blog.csdn.net/lilanfeng1991/article/details/36467891
主要用到VIM和mice包
- install.packages(c("VIM","mice"))
1.处理缺失值的步骤
步骤:
(1)识别缺失数据;
(2)检查导致数据缺失的原因;
(3)删除包含缺失值的实例或用合理的数值代替(插补)缺失值
缺失值数据的分类:
(1)完全随机缺失:若某变量的缺失数据与其他任何观测或未观测变量都不相关,则数据为完全随机缺失(MCAR)。
(2)随机缺失:若某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关,则数据为随机缺失(MAR)。
(3)非随机缺失:若缺失数据不属于MCAR或MAR,则数据为非随机缺失(NIMAR)。
2.识别缺失值
NA:代表缺失值;
NaN:代表不可能的值;
Inf:代表正无穷;
-Inf:代表负无穷。
is.na():识别缺失值;
is.nan():识别不可能值;
is.infinite():无穷值。
is.na()、is.nan()和is.infinte()函数的返回值示例
xis.na(x)is.nan(x)is.infinite(x)x<-NATRUEFALSEFALSEx<-0/0TRUETRUEFALSEx<-1/0FALSEFALSETRUEcomplete.cases()可用来识别矩阵或数据框中没有缺失值的行,若每行都包含完整的实例,则返回TRUE的逻辑向量,若每行有一个或多个缺失值,则返回FALSE;
3.探索缺失值模式
(1)列表显示缺失值
mice包中的md.pattern()函数可以生成一个以矩阵或数据框形式展示缺失值模式的表格
- library(mice)
- data(sleep,package="VIM")
- md.pattern(sleep)
(2)图形探究缺失数据
VIM包中提供大量能可视化数据集中缺失值模式的函数:aggr()、matrixplot()、scattMiss()
- library("VIM")
- aggr(sleep,prop=FALSE,numbers=TRUE)
- library("VIM")
- aggr(sleep,prop=TRUE,numbers=TRUE)#用比例代替了计数
matrixplot()函数可生成展示每个实例数据的图形
- matrixplot(sleep)
浅色表示值小,深色表示值大;默认缺失值为红色。
marginplot()函数可生成一幅散点图,在图形边界展示两个变量的缺失值信息。
- library("VIM")
- marginplot(sleep[c("Gest","Dream")],pch=c(20),col=c("darkgray","red","blue"))
(3)用相关性探索缺失值
影子矩阵:用指示变量替代数据集中的数据(1表示缺失,0表示存在),这样生成的矩阵有时称作影子矩阵。
求这些指示变量间和它们与初始(可观测)变量间的相关性,有且于观察哪些变量常一起缺失,以及分析变量“缺失”与其他变量间的关系。
- head(sleep)
- str(sleep)
- x<-as.data.frame(abs(is.na(sleep)))
- head(sleep,n=5)
- head(x,n=5)
- y<-x[which(sd(x)>0)]
- cor(y)
- cor(sleep,y,use="pairwise.complete.obs")
4.理解缺失值数据的来由和影响
识别缺失数据的数目、分布和模式有两个目的:
(1)分析生成缺失数据的潜在机制;
(2)评价缺失数据对回答实质性问题的影响。
即:
(1)缺失数据的比例有多大?
(2)缺失数据是否集中在少数几个变量上,抑或广泛存在?
(3)缺失是随机产生的吗?
(4)缺失数据间的相关性或与可观测数据间的相关性,是否可以表明产生缺失值的机制呢?
若缺失数据集中在几个相对不太重要的变量上,则可以删除这些变量,然后再进行正常的数据分析;
若有一小部分数据随机分布在整个数据集中(MCAR),则可以分析数据完整的实例,这样仍可得到可靠有效的结果;
若以假定数据是MCAR或MAR,则可以应用多重插补法来获得有铲的结论。
若数据是NMAR,则需要借助专门的方法,收集新数据,或加入一个相对更容易、更有收益的行业。
5.理性处理不完整数据
6.完整实例分析(行删除)
函数complete.cases()、na.omit()可用来存储没有缺失值的数据框或矩阵形式的实例(行):
- newdata<-mydata[complete.cases(mydata),]
- newdata<-na.omit(mydata)
- options(digits=1)
- cor(na.omit(sleep))
- cor(sleep,use="complete.obs")
- fit<-lm(Dream~Span+Gest,data=na.omit(sleep))
- summary(fit)
7.多重插补
多重插补(MI)是一种基于重复模拟的处理缺失值的方法。
MI从一个包含缺失值的数据集中生成一组完整的数据集。每个模拟数据集中,缺失数据将使用蒙特卡洛方法来填补。
此时,标准的统计方法便可应用到每个模拟的数据集上,通过组合输出结果给出估计的结果,以及引入缺失值时的置信敬意。
可用到的包Amelia、mice和mi包
mice()函数首先从一个包含缺失数据的数据框开始,然后返回一个包含多个完整数据集的对象。每个完整数据集都是通过对原始数据框中的缺失数据进行插而生成的。
with()函数可依次对每个完整数据集应用统计模型
pool()函数将这些单独的分析结果整合为一组结果。
最终模型的标准误和p值都将准确地反映出由于缺失值和多重插补而产生的不确定性。
基于mice包的分析通常符合以下分析过程:
- library(mice)
- imp<-mice(mydata,m)
- fit<-with(imp,analysis)
- pooled<-pool(fit)
- summary(pooled)
- mydata是一个饮食缺失值的矩阵或数据框;
- imp是一个包含m个插补数据集的列表对象,同时还含有完成插补过程的信息,默认的m=5
- analysis是一个表达式对象,用来设定应用于m个插补的统计分析方法。方法包括做线回归模型的lm()函数、做广义线性模型的glm()函数、做广义可加模型的gam()、及做负二项模型的nbrm()函数。
- fit是一个包含m个单独统计分析结果的列表对象;
- pooled是一个包含这m个统计分析平均结果的列表对象。
- </pre><pre name="code" class="plain">library(mice)
- data(sleep,package="VIM")
- imp<-mice(sleep,seed=1234)
- fit<-with(imp,lm(Dream~Span+Gest))
- pooled<-pool(fit)
- summary(pooled)
- imp
- imp$imp$Dream
利用complete()函数可观察m个插补数据集中的任意一个,格式为:complete(imp,action=#)
eg:
- dataset3<-complete(imp,action=3)
- dataset3
8.处理缺失值的其他方法
处理缺失数据的专业方法
软件包描述Hmisc包含多种函数,支持简单插补、多重插补和典型变量插补mvnmle对多元正态颁数据中缺失值的最大似然估计cat对数线性模型中多元类别型变量的多重插补arrayImpute\arraryMissPattern、SeqKnn处理微阵列缺失值数据的实用函数 longitudinalData相关的函数列表,比如对时间序列缺失值进行插补的一系列函数kmi处理生存分析缺失值的Kaplan-Meier多重插补mix一般位置模型中混合类别型和连续型数据的多重插补pan多元面板数据或聚类的多重插补(1)成对删除
- cor(sleep,use="pairwise.complete.obs")
(2)简单(非随机)插补
9.R中制作出版级品质的输出
常用方法:Sweave和odfWeave。
Sweave包可将R代码及输出嵌入到LaTeX文档中,从而得到 PDF、PostScript和DVI格式的高质量排版报告。
odfWeave包可将R代码及输出嵌入到ODF(Open Documents Format)的文档中
- R语言处理缺失数据的高级方法
- R语言处理缺失数据的高级方法
- R语言处理缺失数据的高级方法
- 【转】R语言处理缺失数据的高级方法
- R语言处理缺失数据的高级方法
- R语言处理缺失数据的高级方法
- R语言处理缺失值的高级方法 ---后面有一些python画图的语句
- R语言 处理缺失值数据
- R语言:缺失值的处理
- 数据缺失的处理方法
- R语言缺失值处理
- R语言缺失值处理
- R语言 缺失值处理
- R语言缺失值处理
- R语言缺失值处理
- R语言|数据预处理--3缺失值离群点处理
- R语言实战笔记--第十五章 处理缺失数据
- 【R】数据缺失值处理
- 9个offer,12家公司,35场面试,从微软到谷歌,一个应届计算机毕业生的求职之路
- HDU 2043 密码
- R语言主成分和因子分析篇
- mac下删除ntfs下的文件垃圾篓清空不干净的解决办法
- ACM上的第一道题目!A + B Problem
- R语言处理缺失数据的高级方法
- 新入职的程序员如何更快的融入项目当中
- Hadoop 双机热备-AvatarNode部署
- 支持向量机通俗导论(理解SVM的三层境界)
- 在O(1)时间内删除链表结点 【微软面试100题 第六十题】
- getter和setter方法的作用和好处
- Machine Learning---感知器学习算法
- hadoop-1.2.0集群安装与配置
- 第12周项目3-用递归方法求解(4)Fibnacci序列