hive sequencefile 和rcfile 效率对比
来源:互联网 发布:淘宝客推爆款 编辑:程序博客网 时间:2024/05/21 10:09
源数据放在test1表中,大小 26413896039 Byte。
创建sequencefile 压缩表test2,使用insert overwrite table test2 select ...语句将test1数据导入 test2 ,设置配置项:
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;
SET io.seqfile.compression.type=BLOCK;
set io.compression.codecs=com.hadoop.compression.lzo.LzoCodec;
导入耗时:98.528s。另压缩类型使用默认的record,耗时为418.936s。
创建rcfile 表test3 ,同样方式导入test3。
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;
set io.compression.codecs=com.hadoop.compression.lzo.LzoCodec;
导入耗时 253.876s。
以下为其他统计数据对比:
0 0
- hive sequencefile 和rcfile 效率对比
- hive sequencefile 和rcfile 效率对比
- hive存储格式sequencefile和rcfile的对比
- hive存储格式sequencefile和rcfile的对比
- hive中rcfile orcfile和parquetfile对比
- impala表使用rcfile,sequencefile和parquet
- hadoop和hive压缩格式对比【数据源建议RCFile+bz或RCFile+gz的方式可以节省空间,计算过程建议RCFile+snappy,空间换时间】
- RCFile SequenceFile and Avro comparison Test
- Spark SQL & Spark Hive编程开发, 并和Hive执行效率对比
- Hive中的RCFile
- hive的文件格式-RCfile
- Hive文件格式(RCFILE)
- hive rcfile存储格式
- hive rcfile存储格式
- hive rcfile存储格式
- hive rcfile存储格式
- hive中使用rcfile
- hive 存储格式和压缩方式 一:Snappy + SequenceFile
- Android--判断当前线程是否是主线程
- Jenkins系列之—03使用email-ext替换Jenkins的默认邮件通知
- ~/.bashrc、~/.xinitrc或~/.xprofile区别
- 几种常见的渲染类型:Normal Shader的简单介绍
- 解决windows 安装 Composer失败
- hive sequencefile 和rcfile 效率对比
- 线程之间的通信、加锁解锁
- Jenkins系列之—04 email-ext邮件通知模板
- 邮箱格式
- gitlab的用户使用手册
- OracleRac11.2.0.3迁移OCR和VOTEDISK
- linux下解压命令大全
- string转integer
- Gentoo网络管理方法