数据挖掘学习笔记-关于数据的基本概念
来源:互联网 发布:美国历年财政支出数据 编辑:程序博客网 时间:2024/06/05 18:47
数据认识
属性:
按照属性的类型分:
1. 定性的(分类的)
标称(nominal)\序数(ordinal)
2. 定量的(数值的)
区间(interval)、比率(ratio)
按照属性值的个数分:
- 离散的(discrete)
- 连续的(continuous)
数据质量:
因为存在测量误差及数据收集错误(如遗漏数据对象或遗漏数据属性,或不当地包含了其他数据对象等错误),会出现噪声或伪像,
所以需要进行数据清理(data cleanning)
##### 数据质量度量
1. 精度 (同一个量的)重复测量值之间的接近程度,故常用标准差来度量
2. bias 测量值与真实值间的系统误差
数据预处理:
1. aggregation
2. 抽样
需要样本容量 自适应抽样 渐进抽样
3. 维归约(多属性降低为较少属性)
主要技术:PCA(主成分分析) 、SVD(奇异值分解)
特征子集选择(降低维度的另一种方法,采用选取特征的一个子集)
特征子集选择、特征加权
特征创建:
特征提取(由原始数据创建新的特征集称作特征提取)
时间序列类型数据采用傅里叶变换 特征构造
离散化和二元化
变量变换
例如:相似度到[0, 1]区间的变换公式:
s’ = (s-min_s)/(max_s-min_s)Note: max_s和min_s分别是相似度的最大值和最小值
数据对象的相异度:
1. 距离:
参考链接:http://blog.csdn.net/tianlan_sharon/article/details/50904641
阅读全文
0 0
- 数据挖掘学习笔记-关于数据的基本概念
- 数据挖掘和机器学习的基本概念
- 关于基于复杂网络的数据挖掘的学习笔记
- 数据挖掘的一些基本概念
- 数据挖掘的几个基本概念
- 关于数据挖掘其中的一些基本概念的理解
- 数据挖掘的基本概念:数据库、数据仓库、机器学习,统计学
- 数据挖掘-基本概念
- 数据挖掘中的基本概念
- 数据挖掘基本概念
- 数据挖掘基本概念
- 数据仓库与数据挖掘的一些基本概念
- 数据挖掘之关联分析的基本概念
- 数据挖掘学习笔记(1)
- 数据挖掘学习笔记(2)
- 数据挖掘学习笔记(3)
- 数据挖掘学习笔记(4)
- 【数据挖掘】算法学习笔记
- SpringMvc实现文件的上传
- C++ helloworld
- kubeadm安装kubernetes(calico)
- 访问网页的各种http状态码的解释说明
- Java集合类二集合类详解及使用
- 数据挖掘学习笔记-关于数据的基本概念
- Linux文件系统调用----实现对树形文件结构的广度优先遍历,即按层输出文件信息
- 使用jsch-spring-boot在本地访问远程云服务
- Faster-Rcnn的loss曲线可视化
- RxJava 1.0版本入门篇之--2
- 玲珑学院 1125 咸鱼商店(二分+01背包)
- Codeforces 817D Imbalanced Array
- 使用git和github进行协同开发流程
- 字符串-leetcode 344 Reverse String