Hadoop-No.1之数据存储选型
来源:互联网 发布:人人店微分销源码下载 编辑:程序博客网 时间:2024/06/05 09:43
文件格式
Hadoop支持多种面向数据存储的文件格式,包括纯文本和Hadoop特有的格式,如SequenceFile.还有一些更加复杂但功能更加丰富的格式可供选择,如Avro与Parquet.不同的格式具有不同的优势.任何一种格式都有适合的应用或者数据源类型.也可以在Hadoop中自己定制化文件格式
压缩格式
Hadoop上常用的压缩编解码格式具有不同的特点,比如,一些编解码格式压缩和解压的速度较快,但是压缩效果不好,而有些编解码格式能将文件压缩的更小,但是压缩和解压的时间都比较长,这种情况下 ,CPU的负担加重.在Hadoop上存储数据时,要考虑的另一个重要因素是压缩后的数据是否支持切片.
数据存储系统
尽管Hadoop中的所有数据最终存储在HSFD上,但是仍然需要选择实际的存储管理器(Storage Manager),比如你可以选择Hbase,也可以直接用HDFS存储数据.另外,Hive和Impala这样的工具能够为Hadoop中 的数据定义额外的结构信息
阅读全文
2 0
- Hadoop-No.1之数据存储选型
- 《Hadoop应用架构》整理——1.1 数据存储选型
- 藏书阁-数据存储选型
- Hadoop-No.11之元数据
- Hadoop-No.3之序列化存储格式
- Hadoop-No.4之列式存储格式
- 如何做数据存储架构技术选型?
- Hadoop-No.12之数据采集的时效性
- Hadoop数据存储
- 【Hadoop】数据存储----HDFS
- hadoop 数据存储格式
- hadoop随笔三之hive2.1安装(元数据存储oracle)
- Hadoop源码分析之NameNode元数据的存储
- Hadoop-No.5之压缩
- Hadoop-No.5之压缩
- Hadoop-No.16之Kafka
- 大数据平台安装测试(1)centos7.1 docker mesos tachyon hadoop (myriad? yarn?)spark hbase speaksql 选型分析
- 数据科学之hadoop大数据存储技术研究之路(一)
- JS记忆优化-闭包
- 身边的牛人
- IPython与IPython Notebook安装及使用
- |3106|小鑫数数儿
- gitlab常见操作
- Hadoop-No.1之数据存储选型
- 利用PL/SQL从oracle中导入导出数据
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
- 关于servlet和jersey单例
- linux驱动由浅入深系列:高通sensor架构实例分析之三(adsp上报数据详解、校准流程详解)
- vue.js(一)
- JAVA注册表读取写入删除
- POJ 2484 A Funny Game <简单博弈>
- 淘宝店铺遇到差评怎么办 淘宝差评处理方法