hadoop lzo的使用方法
来源:互联网 发布:客户关怀软件 编辑:程序博客网 时间:2024/06/05 07:10
1 给lzo文件建立索引
1
2
3
4
$HADOOP_HOMOE
/bin/hadoop
jar \
$HADOOP_HOMOE
/share/hadoop/mapreduce/lib/hadoop-lzo-0
.4.20-SNAPSHOT.jar \
com.hadoop.compression.lzo.LzoIndexer \
/hdfs/path/to/file
.lzo
1
2
3
4
$HADOOP_HOMOE
/bin/hadoop
jar \
$HADOOP_HOMOE
/share/hadoop/mapreduce/lib/hadoop-lzo-0
.4.20-SNAPSHOT.jar \
com.hadoop.compression.lzo.DistributedLzoIndexer \
/hdfs/path/to/file
.lzo
2 在mapreduce程序中使用lzo压缩
1
job.setInputFormatClass(LzoTextInputFormat.
class
);
1
2
3
4
5
<
dependency
>
<
groupId
>com.hadoop.gplcompression</
groupId
>
<
artifactId
>hadoop-lzo</
artifactId
>
<
version
>0.4.20</
version
>
</
dependency
>
3 在streaming程序中使用lzo压缩
1
2
3
4
5
6
7
8
$HADOOP_HOME/bin/hadoop jar \
$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-
2.2
.
0
.jar \
-D stream.map.input.ignoreKey=
true
\
-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat \
-input /path/to/input \
-output /path/to/output \
-mapper cat \
-reducer wc
4 在hive中使用lzo压缩
1
2
3
4
5
create
table
lzo_test(
i
int
,
s string)
STORED
AS
INPUTFORMAT
'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
;
参考资料:
0 0
- hadoop lzo的使用方法
- hadoop lzo的使用方法
- hadoop的lzo
- Hadoop 的lzo压缩尝试
- hadoop集群lzo的安装
- hadoop-lzo环境变量的设置
- hadoop hive的lzo总结
- hadoop的lzo插件安装
- Hadoop Lzo
- 脱离Hadoop的环境下使用Lzo
- hadoop lzo文件的并行map处理
- hadoop中使用lzo的压缩
- hadoop中使用lzo的压缩
- Hadoop LZO的安装与配置
- 关于hadoop使用lzo压缩的流程
- hadoop集群部署lzo
- hadoop lzo安装
- 安装hadoop-lzo
- Lintcode - Maximum Subarray II
- 矩阵快速幂(hdu5171GTY's birthday gift)
- C Primer Plus 练习 6-14
- selector精确控制控件的显示效果
- Android应用测试与调试实战第9章:Android NDK测试
- hadoop lzo的使用方法
- uva 10123 No Tipping(逆向思维+力矩)
- 页面水平滑动Silder
- 114 西崖 柳成龍
- C专家编程 读书笔记1
- 并发框架LMAX Disruptor资料总汇
- ECIF和CRM区别 (转)
- unity 脚本 function 生命周期 MonoBehaviour Mono行为
- Problem 039——UVa 442 - Matrix Chain Multiplication