Hadoop集群lzo文件的并行map处理
来源:互联网 发布:数据采集功能 编辑:程序博客网 时间:2024/05/22 11:29
转载至:http://www.linuxidc.com/Linux/2012-01/51653.htm
Hadoop集群中启用了lzo后,还需要一些配置,才能使集群能够对单个的lzo文件进行并行的map操作,以提升job的执行速度。
首先,要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.LzoIndexer /log/source/cd/
使用该命令创建index要花些时间的,我一个7.5GB大小的文件,创建index,花了2分30秒的样子。其实创建index时还有另外一个参数,即com.hadoop.compression.lzo.DistributedLzoIndexer。两个选项可以参考:https://github.com/kevinweil/hadoop-lzo,该文章对这两个选项的解释,我不是很明白,但使用后一个参数可以减少创建index时所花费的时间,而对mapreduce任务的执行没有影响。如下:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /log/source/cd/
然后,在Hive中创建表时,要指定INPUTFORMAT和OUTPUTFORMAT,否则集群仍然不能对lzo进行并行的map处理。在hive中创建表时加入下列语句:
SET FILEFORMAT INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat" OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";
执行了这两步操作后,对hive执行速度的提升还是很明显的。在测试中,我们使用一个7.5GB大小的lzo文件,执行稍微复杂一点的Hive命令,使用上述配置后仅需34秒的时间,而原来要180秒。
- Hadoop集群lzo文件的并行map处理
- hadoop lzo文件的并行map处理
- (转)lzo文件的并行map处理
- lzo文件的并行map处理
- hadoop lzo并行map
- hadoop lzo并行map
- hadoop集群lzo的安装
- hadoop streaming python 处理 lzo 文件遇到的问题
- hadoop streaming python 处理 lzo 文件遇到的问题
- hadoop集群部署lzo
- cloudera hadoop集群内lzo的安装与配置
- Hadoop集群内lzo的安装与配置
- hadoop集群内lzo的安装与配置
- hadoop集群内lzo的安装与配置
- 开启hadoop和Hbase集群的lzo压缩功能
- Hadoop集群内lzo的安装与配置
- hadoop的lzo
- hadoop lzo的使用方法
- Linux 动态库的创建和使用简单实例
- 游戏编程入门学习笔记28——菜单篇——了解MFC
- OpenCV中stitcher的简单应用
- 数学之路(3)-数据分析(3)
- jQuery 遍历
- Hadoop集群lzo文件的并行map处理
- 安装mysql
- hibernate一级缓存和二级缓存的区别
- C++:LIB和DLL的区别与使用
- Linux下统计代码行数--wc命令
- Specified key was too long; max key length is 767 bytes问题
- 命名空间和Action的三种创建方法
- ioctl的一点使用注意事项
- UPnP DeviceArchitecure Step 0 : Addressing