Hadoop的SequenceFile文件<转>
来源:互联网 发布:云上数据属于 编辑:程序博客网 时间:2024/05/17 01:03
SequenceFile 是 Hadoop 的一个重要数据文件类型,它提供key-value的存储,但与传统key-value存储(比如hash表,btree)不同的是,它是appendonly的,于是你不能对已存在的key进行写操作。每一个key-value记录如下图,不仅保存了key,value值,也保存了他们的长度。
SequenceFile 有三种压缩态:
- Uncompressed – 未进行压缩的状态
- Record Compressed - 对每一条记录的value值进行了压缩(文件头中包含上使用哪种压缩算法的信息)
- Block-Compressed – 当数据量达到一定大小后,将停止写入进行整体压缩,整体压缩的方法是把所有的keylength,key,vlength,value 分别合在一起进行整体压缩
文件的压缩态标识在文件开头的header数据中。
在header数据之后是一个Metadata数据,他是简单的属性/值对,标识文件的一些其他信息。Metadata 在文件创建时就写好了,所以也是不能更改的。
- Hadoop的SequenceFile文件<转>
- hadoop处理sequenceFile文件
- Hadoop序列化文件SequenceFile
- Hadoop序列化文件SequenceFile
- Hadoop 写SequenceFile文件 源代码
- Hadoop中基于文件的数据格式(1)SequenceFile
- hadoop生成序列化文件(SequenceFile)的程序
- Hadoop中SequenceFile的使用
- Hadoop 中SequenceFile的简介
- SequenceFile 解决hadoop小文件问题
- Hadoop读取sequencefile和textfile文件内容
- Hadoop SequenceFile 文件写入及格式分析
- Hadoop 上传小文件 合成sequencefile 记录
- hadoop中的文件接口类-- SequenceFile
- Hadoop SequenceFile
- Hadoop SequenceFile
- hadoop SequenceFile
- hadoop SequenceFile
- Overriding and Hiding Methods
- Struts2体系结构图以及详解
- CountDownLatch
- mvc开发模式
- find命令用法1
- Hadoop的SequenceFile文件<转>
- visual fox pro两段示例小程序
- 【C++ Primer】标准IO库
- MATLAB在Linux上报Warning: Unable to create com.mathworks.mde.explorer.Explorer解决方法
- 火车进站(全排列)
- shell getopt 用法
- Wpf GridSplitter usage Sample
- mtlab中如何在.mat和.txt之间转换
- Please ensure that adb is correctly located at