hadoop对于压缩文件的支持及算法优缺点

来源:互联网 发布:安卓编程软件手机软件 编辑:程序博客网 时间:2024/05/22 14:16
【IT168 技术】hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。

  如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。

压缩格式工具算法文件扩展名多文件可分割性DEFLATE无DEFLATE.deflate不不gzipgzipDEFLATE.gz不不ZIPzipDEFLATE.zip是是,在文件范围内bzip2bzip2bzip2.bz2不是LZOlzopLZO.lzo不是

 

 

 

 

  

         如果压缩的文件没有扩展名,则需 要在执行mapreduce任务的时候指定输入格式.

原创粉丝点击