hive中对lzo压缩文件建立索引实现并行处理
来源:互联网 发布:微信服务号域名是什么 编辑:程序博客网 时间:2024/06/13 08:26
1,确保创建索引
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/flog
2 如果在hive中新建外部表的语句为
CREATE EXTERNAL TABLE foo ( columnA string, columnB string ) PARTITIONED BY (date string) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t" STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat" LOCATION '/path/to/hive/tables/foo';
3 对于已经存在的表修改语句为
ALTER TABLE foo SET FILEFORMAT INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";
4 alter table后对已经load进表中的数据,需要重新load和创建索引,要不还是不能分块
5 用hadoop streaming编程执行mapreduce作业语句为
hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-dev-streaming.jar -file /home/pyshell/map.py -file /home/pyshell/red.py -mapper /home/pyshell/map.py -reducer /home/pyshell/red.py -input /aojianlog/20120304/gold/gold_38_3.csv.lzo -output /aojianresult/gold38 -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat -jobconf mapred.output.compress=true -jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec
注意 如果没有-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat 选项的话map作业也不会分片
没有-jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec选项只设置-jobconf mapred.output.compress=true 选项的话 reduce作业输出文件的格式为.lzo_deflate
- hive中对lzo压缩文件建立索引实现并行处理
- hive中对lzo压缩文件建立索引实现并行处理
- 对TextFile格式文件的lzo压缩建立index索引
- LzoIndexer对TextFile格式文件的lzo压缩建立index索引
- hive中使用lzo
- hadoop,hive启用lzo压缩和创建lzo索引
- (转)lzo文件的并行map处理
- hadoop lzo文件的并行map处理
- lzo文件的并行map处理
- hadoop处理lzo格式的压缩文件报错
- python3对压缩文件处理
- Hive中对json处理
- 查看HDFS中LZO压缩文件内容的脚本
- Hadoop集群lzo文件的并行map处理
- 使用hive 对lzo数据分析时的报错
- hadoop lzo并行map
- hadoop lzo并行map
- hadoop使用lzo压缩文件笔记
- 第3章 基本概念(二)
- [转]string:值类型?引用类型?
- 黑马程序员-江远云 我的java语言基础之路4-语句篇
- 再谈马云的一淘“要让百度睡不着”
- CSS中background-position使用技巧
- hive中对lzo压缩文件建立索引实现并行处理
- 黑马程序员-江远云 我的java语言基础之路5-多线程篇
- Win7 "未识别网络" 的20种常见解决方案
- hdu 1728
- 第4章 变量、作用域和内存问题 (一)
- IC datasheet 查询网站
- 黑马程序员-江远云 我的java语言基础之路6-集合框架篇
- struts2 在Action简单数据验证,取得request,session,application,
- BJCA证书加密Dome