数据清洗经验
来源:互联网 发布:呼死你代呼淘宝店 编辑:程序博客网 时间:2024/04/28 11:13
数据为什么需要清洗
- 字段缺失
- 前后结构不一致
- 数据取值范围不对
- 不是易于分析的格式
清洗数据技巧
- 使用断言 Assertions
例如每条记录有4个字段,断言之; 某个字段是整数,断言之。反正,能断言的都断言,不要嫌麻烦。 - 对于不完整或者损坏的记录,不要默默跳过
可以打印出提示信息,方便之后查找
记录跳过记录的条数,和总记录数,看看比例 - 如果有枚举字段,且种类多,可以不用断言,遇到新种类时打印出来提醒一下,清洗完在检查
- 断点清洗。适用于数据集较大,程序中途崩溃
- 先在一部分数据集上测试清洗
- 打印清洗日志
- 验证清洗后的数据
- (可选)如果效率空间允许情况下,把原始数据一并保存下来
参考
http://kb.cnblogs.com/page/514866/
0 0
- 数据清洗经验
- 数据清洗经验
- 转自:数据有意思;数据清洗的经验
- 数据清洗
- 数据清洗
- 数据清洗
- 数据清洗
- 数据清洗
- 数据清洗
- 数据清洗
- 数据清洗
- perl 数据清洗 实例
- ETL---数据清洗转化
- 数据清洗工具OpenRefine
- 数据清洗工具kettle
- 数据清洗(Data Cleaning)
- 数据清洗实例分析
- 脏数据清洗
- [LNOI 2014] LCA
- 【HDU 1551】Cable master(二分)
- 带query函数的润乾报表API后台导出excel空指针问题
- 情感词典构建
- jquery扩展原生ajax,减少逻辑,jquery插件
- 数据清洗经验
- hdu 5927
- 数据库连接池--DBCP连接池
- 使用Kotlin做一个简单的HTML构造器
- 四轴的组成及参数评定
- Java NIO 系列教程(三)
- HDU-2072(单词数)都是坑啊
- 一个人走得远了,终究想停下来。
- 链表的有序