Sequencefile 文件结构
来源:互联网 发布:线性优化问题 编辑:程序博客网 时间:2024/05/27 06:56
SequenceFile是由二进制键值对组成的扁平文件。SequenceFile提供了writer、reader和sorter三种类来写、读和排序。
真实的压缩逻辑是使用指定的合适CompressionCodec对key、value进行处理。
SequenceFile文件格式
Header通用头文件格式:
SEQ(3bytes)
Num(1byte数字)
keyClassName
valueClassName
compression(boolean,指明了在文件中是否启用了压缩)
blockCompression(boolean,指明是否是block压缩)
compression codec
Metadata(文件元数据)
Sync(头文件结束标志)
Uncompressed SequenceFile Format:
Header
Record
Record length
Key length
Key
Value
sync-marker,每100字节左右就一个sync标志
Record-Compressed SequenceFile Format:
Header
record
Record length
Key length
Key
Compressed
sync-marker,每100字节左右就一个sync标志
Block-Compressed SequenceFile Format:
Header
Block
Compressed key-lengths block-size
Compressed key-lengths block
Compressed keys block-size
Compressed keys block
Compressed value-lengths block-size
Compressed value-lengths block
Compressed values block-size
Compressed values block
sync-marker,每100字节左右就一个sync标志
- Sequencefile 文件结构
- SequenceFile文件
- SequenceFile文件
- SequenceFile文件
- SequenceFile文件
- SequenceFile文件
- hadoop处理sequenceFile文件
- MapReduce读取sequencefile文件
- sequencefile处理小文件实例
- sequencefile处理小文件实例
- Hadoop序列化文件SequenceFile
- Hadoop序列化文件SequenceFile
- Hadoop 写SequenceFile文件 源代码
- Hadoop的SequenceFile文件<转>
- SequenceFile
- SequenceFile
- sequencefile
- SequenceFile 解决hadoop小文件问题
- Android培训班(109)start_kernel函数6
- jquery 显示鼠标坐标
- 为什么 Thread.stop和Thread.suspend等被废弃了?
- netfilter应用场景
- oracle学习笔记之pI/sql视频小结
- Sequencefile 文件结构
- webshphere下的第一个EJB例子分析
- jdk的那点事
- BOX2D学习
- 单源最短路径算法(BellmanFord算法)
- UIScrollView UITableView 上提刷新代码
- C语言初学者常遇到的变量名称
- php之初见
- Windows平台使用CodeBlocks和Wxwidgets搭建C++开发环境