Snappy压缩
来源:互联网 发布:戴尔win10修改mac 编辑:程序博客网 时间:2024/05/17 04:09
创建路径及上传数据
不设置压缩运行:
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar \
wordcount mapreduce/wordcount/input mapreduce/wordcount/output
设置压缩运行:
bin/yarn jar \
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar \
wordcount \
-Dmapreduce.map.output.compress=true \
-Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec \
mapreduce/wordcount/input mapreduce/wordcount/output
Hive中不压缩执行:
select e.ename ,e.sal ,d.dname from emp e join dept d on e.deptno = d.deptno;
设置Hive压缩:
set mapreduce.map.output.compress=true ;
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec ;
set hive.exec.compress.intermediate = true ;
执行:select e.ename ,e.sal ,d.dname from emp e join dept d on e.deptno = d.deptno;
数据的存储方式:列式存储,节省内存
Text>RCFile>Parquet>ORCFile
- snappy压缩
- Snappy压缩
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- hadoop 压缩-snappy
- 配置Snappy压缩
- 配置Snappy压缩
- python使用snappy压缩
- HBase开启Snappy压缩
- HBase开启Snappy压缩
- Hadoop Snappy压缩算法简介
- Hbase设置Snappy压缩测试
- JAVA代码之Snappy 压缩
- 编译hadoop支持snappy压缩
- hbase1.3配置snappy压缩
- Hbase增加Snappy压缩格式的调研
- Snappy压缩库安装和使用之一
- hbase压缩算法-Snappy算法安装
- 3-控制语句
- 查看指定目录文件大小 级联删除
- 关于素数
- Android移动支付——微信支付
- 欢迎使用CSDN-markdown编辑器
- Snappy压缩
- springMVC笔记系列(18)——配置文件细节详解
- 在jstl表达式中使用Map的细节总结
- NYOJ 467 中缀式变后缀式(栈)
- android 蓝牙客户端与服务端通信
- mongo 读分析
- UITableView属性及方法大全
- 4种Java引用浅解
- 安装python 3.5 make无限执行问题处理