数据挖掘与数据抽样
来源:互联网 发布:软件编程代码 编辑:程序博客网 时间:2024/05/06 15:55
前段时间在做一个挖掘模型时,模型的特征决定了选择的数据是严重有偏的,怎样在这样的数据上进行抽样,得到能比较好地反映真实情况的数据样本是很关键的。自己对统计学仅仅限于大学课程的学习,很少做过实验,在做数据预处理走了一些弯路。下面对数据挖掘中的抽样发表一点浅见。谢谢苦瓜兄弟解答,希望和大家多多交流:)
在数据挖掘的数据预处理过程中,宽表数据往往是几十万,上百万级记录的。要对所有数据进行训练,时间上很难满足要求,因此对数据进行抽样就很必要了,不同的数据抽样方法对训练结果模型的精度有很大影响。可以考虑用一些数据浏览工具,统计工具对数据分布做一定的探索,在对数据做充分的了解后,再考虑采用合适的数据抽样方法,抽取样本数据进行建模实验。对一般的模型,比如客户细分,主要是数据的聚类,我在做抽样时用了随机抽样,也可以考虑整群抽样;而做离网预警模型或者金融欺诈预测模型时,数据分布是严重有偏的,而且这种有偏数据对这类模型来说恰恰是至关重要的。一般采用分层抽样和过度抽样结合有不错的效果,分层抽样和过度抽样的区别自己也不是很了解,现在只能是做个概述了。
几种常用的抽样方法:
1.简单随机抽样(simple random sampling)
将所有调查总体编号,再用抽签法或随机数字表随机抽取部分观察数据组成样本。
优点:操作简单,均数、率及相应的标准误计算简单。
缺点:总体较大时,难以一一编号。
2.系统抽样(systematic sampling)
又称机械抽样、等距抽样,即先将总体的观察单位按某一顺序号分成n个部分,再从第一部分随机抽取第k号观察单位,依次用相等间距从每一部分各抽取一个观察单位组成样本。
优点:易于理解、简便易行。
缺点:总体有周期或增减趋势时,易产生偏性。
3.整群抽样(cluster sampling)
先将总体依照一种或几种特征分为几个子总体(类.群),每一个子总体称为一层,然后从每一层中随机抽取一个子样本,将它们合在一起,即为总体的样本,称为分层样本
优点:便于组织、节省经费。
缺点:抽样误差大于单纯随机抽样。
4.分层抽样(stratified sampling)
将总体样本按其属性特征分成若干类型或层,然后在类型或层中随机抽取样本单位,合起来组成样本。有按比例分配和最优分配(过度抽样是否就是最优分配方法?)两种方案。
特点:由于通过划类分层,增大了各类型中单位间的共同性,容易抽出具有代表性的调查样本。该方法适用于总体情况复杂,各类别之间差异较大(比如金融客户风险/非风险样本的差异),类别较多的情况。
优点:样本代表性好,抽样误差减少。
from:http://www.chinabi.net/blog/user1/105/archives/2006/1006.html
- 数据挖掘与数据抽样
- 数据挖掘中的抽样算法
- 数据挖掘中的抽样方法--简单记录
- 数据挖掘:R语言实战(抽样)
- 数据抽样
- 数据抽样
- 数据挖掘与数据分析
- 数据分析与数据挖掘
- 数据挖掘与数据分析
- 数据分析与数据挖掘
- 数据挖掘与统计工作
- 数据挖掘与BI
- 统计学与数据挖掘
- 电子商务与数据挖掘
- 数据挖掘与CRM
- 模式识别与数据挖掘
- 数据挖掘与OLAP
- clementine与数据挖掘
- 移动互联网
- cut命令的详细用法
- 最近很纠结
- GIS属性查找(基于Trie的词典库文件结构的设计)
- 当代码遇见音符
- 数据挖掘与数据抽样
- GIS开窗裁减(Cohen-Sutherland线段裁减的改进算法)
- 今天第一次在CSDN开Blog!
- 找出较大的一个数
- 在S60上使用Google Sync同步日历和联系人/名片
- 基于GML数据源的GIS平台关键技术
- 透视投影变换在GPS导航中的应用
- WebKit新特性WebGL
- Java中的String数据类型