大数据中简化数据的几种方式
来源:互联网 发布:国家卫生部数据查询 编辑:程序博客网 时间:2024/04/29 06:51
大数据处理中,数据量是很庞大的,如果简化数据,便于后期处理,是一项基础工作。
下面介绍,可以采用的几种方法。
1、主成分分析。根据事先指定的信息量(一般是方差最大的是第一主成分),确定主成分分析的层级。
2、SVD(奇异值分解)。
优势:简化数据,去除噪声,提高算法结果。
在推荐系统的相似度矩阵计算过程中,能够通过SVD从高维降到低维,减少计算量,保障推荐的效果。
作用:利用小得多的数据集来表示原始数据集。
过程:将数据集矩阵(M *N)分解成U(M*M)、E(M*N)、V(N*N)。
其中E只有对角元素,其他元素为0。
E对角元素从大到小排列,这些对角元素被称为奇异值。
奇异值和特征值是有关联的,这里暂时不去深究。
小结:
SVD是一种强大的降维处理工具。利用它可以提取最重要的特征。
0 0
- 大数据中简化数据的几种方式
- 大数据中简化数据的几种方式
- ios-数据存储的几大方式
- 嵌入式测试中数据获取的几种方式
- 嵌入式测试中数据获取的几种方式
- php中输出json数据的几种方式
- R中访问数据框的几种方式
- Android中数据解析的几种方式
- 面试中 数据读入的几种常用方式
- C++中两个数据交换的几种实现方式
- Android中数据解析的几种方式
- angular 在controller中共享数据的几种方式
- Android中数据储存方式的几种工具类
- hive中数据的几种加载方式
- C#中POST数据和接收的几种方式
- Hive中装载数据的几种方式
- 数据库中数据测试的几种方式
- SpringBoot获得application.properties中数据的几种方式
- 数据通信基本原理学习
- 用 CNTK 搞深度学习 (一) 入门
- Qt Quick中的ListView
- android bitmap compress(图片压缩)代码
- 1002. 写出这个数 (20)
- 大数据中简化数据的几种方式
- 火狐 SSL 收到了一个弱临时 Diffie-Hellman 密钥
- [疯狂Java]I/O:转换流、BufferedReader简介、回推输入流
- AngularJs初学
- Android 关闭多个视图Intent.FLAG_ACTIVITY_CLEAR_TOP用法
- 事务及事务隔离级别
- 我的 生产之路
- POJ 2352 Stars 树状数组
- java开发常用的23中设计模式