LZOP解压查看文件

来源：互联网发布：手机淘宝新人专享礼包编辑：程序博客网时间：2024/05/01 04:52

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分利用MapReduce分而治之的编程思想和数据本地性。
之前要查看已经put到HDFS的LZO文件，都是先get到本地，再用lzop命令解压出来查看，但是有时候我们只是想预览下lzo文件的几行信息，前面一种方式就比较麻烦了，替代方案可以使用如下命令:

hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc | head -1

lzop会接受输入流然后解压输出流给head显示第一行

但是如果不加后面的重定向命令，照道理应该输出到终端上，但是事实并非如此

hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc

会报错“lzop: <stdout>: uncompressed data not written to a terminal”

而对于gzip命令和zcat命令，没有发生这种情况

hadoop fs -cat /tmp/temp.txt.gz | gzip -d  hadoop fs -cat /tmp/temp.txt.gz | zcat

其实这是lzop故意这样设计的，因为解压后的数据可能非常大，如果不加限制全部输出到终端会撑爆终端的，所以不管文件大小一律先报错，可以做这样一个实验

[hadoop@h162 tmp]$ echo "chenyukang" | gzip -c | gzip -d  chenyukang

[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dc  lzop: <stdout>: uncompressed data not written to a terminal

如果确实要打印全部数据到终端有两种办法

1. 后面跟重定向到cat命令

[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dc | cat  chenyukang

2. 使用lzop的-f参数或者--force，强制输出

[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dcf  chenyukang

0 0