对TextFile格式文件的lzo压缩建立index索引
来源:互联网 发布:天津seo源诊断 编辑:程序博客网 时间:2024/06/05 03:37
hadoop中可以对文件进行压缩,可以采用gzip、lzo、snappy等压缩算法。
对于lzo压缩,常用的有LzoCodec和lzopCodec,可以对sequenceFile和TextFile进行压缩,但是有一点,对TextFile压缩后,mapred对压缩后的文件默认是不能够进行split操作,需要对该lzo压缩文件进行index操作,生成lzo.index文件,map操作才可以进行split。
/hadoop jar hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer xxx.lzo
索引完成后,在lzo压缩文件的相同目录下,生成.lzo.index文件
需要说明的是,
1、不支持对sequenceFile 生成.lzo格式的压缩文件,虽然支持对sequenceFile压缩
只支持对Store as textFile的生成.lzo后缀的文件
2、如果设置LzoCodec,那么就生成.lzo后缀的文件,可以用LzoIndexer 进行支持split的index计算,如果设置LzopCodec,那么生成.lzo_deflate后缀的文件,不支持建立index。
- 对TextFile格式文件的lzo压缩建立index索引
- LzoIndexer对TextFile格式文件的lzo压缩建立index索引
- hive中对lzo压缩文件建立索引实现并行处理
- hive中对lzo压缩文件建立索引实现并行处理
- TextFile的建立
- hadoop,hive启用lzo压缩和创建lzo索引
- create index建立索引
- Hadoop 的lzo压缩尝试
- 倒排文件索引(Inverted File Index)的建立
- 倒排文件索引(Inverted File Index)的建立
- 倒排文件索引(Inverted File Index)的建立
- 倒排文件索引(Inverted File Index)的建立
- 倒排文件索引(Inverted File Index)的建立
- 倒排文件索引(Inverted File Index)的建立
- Oracle索引(index)的分类、建立与删除
- hadoop中使用lzo的压缩
- hadoop中使用lzo的压缩
- 关于hadoop使用lzo压缩的流程
- 子窗体向父窗体传值
- hdu2438 Turn the corner 三分
- 项目经理和部门经理的区别
- PHP字符串补全,PHP字符串自动填充,PHP输出固定长度
- wifi最新资料大全
- 对TextFile格式文件的lzo压缩建立index索引
- 每天一道C++笔试题 III --- strcmp
- mysql之存储过程和存储函数
- NSUserDefaults类概述
- 26(48)----windows internals 第6版 mark david alex
- [Unity3D]地形系统的创建与简单设置
- vim中shiftwidth, tabstop, softtabstop和expandtab
- Android 获取状态栏的高度
- 如何查看oracle数据库的端口号?