大数据存储
来源:互联网 发布:淘宝数据包怎么导出 编辑:程序博客网 时间:2024/05/01 12:33
什么是大数据存储?
首先,我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成,既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外,大部分这些数据缺乏索引或者其他组织结构,可能由很多不同文件类型组成。
由于这些数据缺乏一致性,使标准处理和存储技术无计可施,而且运营开销以及庞大的数据量使我们难以使用传统的服务器和SAN方法来有效地进行处理。换句话说,大数据需要不同的处理方法:自己的平台,这也是Hadoop可以派上用场的地方。
Hadoop是一个开源分布式计算平台,它提供了一种建立平台的方法,这个平台由标准化硬件(服务器和内部服务器存储)组成,并形成集群能够并行处理大数据请求。在存储方面来看,这个开源项目的关键组成部分是Hadoop分布式文件系统(HDFS),该系统具有跨集群中多个成员存储非常大文件的能力。HDFS通过创建多个数据块副本,然后将其分布在整个集群内的计算机节点,这提供了方便可靠极其快速的计算能力。
从目前来看,为大数据建立足够大的存储平台最简单的方法就是购买一套服务器,并为每台服务器配备数TB级的驱动器,然后让Hadoop来完成余下的工作。对于一些规模较小的企业而言,可能只要这么简单。然而,一旦考虑处理性能、算法复杂性和数据挖掘,这种方法可能不一定能够保证成功。
如果是基于SAN结构的话,最好的最前沿的方案就是HA.
主要的是存储设备的HA(高可用),当一台存储包含链路发生问题时,前端业务不会受到中断的影响。
用文件存储将其存储在硬盘上
IBM cognos多维分析用到的技术:
1、组建好FM模型
2、组建好TS多维模型
3、TS将源数据按模型生成目标的二进制文件
4、将二进制文件加载到服务器内存中,利用COGNOS进行分析
开源Mondrain 多维分析用到的技术:(主要是数据处理)
1、建立好多维模型
2、将数据处理成多维模型的格式,{例如一个表字段有存款类型、存款时间、存款金额,则可将存款类型、存款金额做成一个A表,存款时间、存款金额做成一个B表,当分析存款类型、存款金额,则自动跳到该A表中了。}
- 存储大数据图片
- SQLite大数据存储
- 大数据存储
- 五大存储数据
- jdbc-大数据存储
- 大数据存储技术
- 大数据存储
- 数据存储大总结
- 大数据存储
- android 5大数据存储
- 大数据 存储和管理
- 大数据存储之分表分库
- movielens大数据存储技巧
- mysql 的大数据存储
- 大数据存储技术路线
- 大对象类型数据存储
- 大数据平台--存储方向
- MySQL 如何存储大数据
- CentOS nasm 安装
- 括号匹配问题(动态规划)
- Bluebox Security最新提报Android漏洞的初步探讨
- 字符串和字符数组之间的转换
- 黑马程序员——集合(下)
- 大数据存储
- 临界区,互斥量,信号量,事件的区别
- 处理UnicodeDecodeError: ‘XXX' codec can't decode bytes in position...的问题
- nasm:fatal:unable to open output file
- 交通灯系统的学习
- 教育培训行业现状分析
- 前端性能优化:使用Data URI代替图片SRC
- 引入外部实体1
- 子序列最大连续和(动态规划、分治)