LZOP解压查看文件小trick
来源:互联网 发布:淘宝国外代购是真的吗 编辑:程序博客网 时间:2024/05/21 17:13
我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile,MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意,第二是它只需要少量effort就能支持可切分(生成LZO文件后跑单机或分布式建索引程序),这样能充分利用MapReduce分而治之的编程思想和数据本地性。
之前要查看已经put到HDFS的LZO文件,都是先get到本地,再用lzop命令解压出来查看,但是有时候我们只是想预览下lzo文件的几行信息,前面一种方式就比较麻烦了,替代方案可以使用如下命令:
hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc | head -1lzop会接受输入流然后解压输出流给head显示第一行
但是如果不加后面的重定向命令,照道理应该输出到终端上,但是事实并非如此
hadoop fs -cat /share/data/log/web/2013-08-22/2013-08-22_log.lzo | lzop -dc会报错“lzop: <stdout>: uncompressed data not written to a terminal”
而对于gzip命令和zcat命令,没有发生这种情况
hadoop fs -cat /tmp/temp.txt.gz | gzip -dhadoop fs -cat /tmp/temp.txt.gz | zcat
其实这是lzop故意这样设计的,因为解压后的数据可能非常大,如果不加限制全部输出到终端会撑爆终端的,所以不管文件大小一律先报错,可以做这样一个实验
[hadoop@h162 tmp]$ echo "chenyukang" | gzip -c | gzip -dchenyukang
[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dclzop: <stdout>: uncompressed data not written to a terminal
如果确实要打印全部数据到终端有两种办法
1. 后面跟重定向到cat命令
[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dc | catchenyukang2. 使用lzop的-f参数或者--force,强制输出
[hadoop@h162 tmp]$ echo "chenyukang" | lzop -c | lzop -dcfchenyukang
本文链接http://blog.csdn.net/lalaguozhe/article/details/10215855,转载请注明
- LZOP解压查看文件小trick
- LZOP解压查看文件
- C#解压文件小示例
- linux解压日志文件并查看
- C之小trick
- 小trick之tools
- 快速幂小trick
- 解压文件的一个小问题
- 深度学习小trick收集
- linux查看文件小技巧
- Matlab读取文件的一些小trick(textscan与 csvread)
- 查看rpm包内容和解压获取rpm包文件
- 查看rpm包内容和解压获取rpm包文件
- 不解压tar.gz文件查看其中的文件大小
- 不解压tar.gz文件查看其中的文件大小
- linux下不解压tar.gz文件查看文件大小
- android 查看解压后的.xml文件代码(axmlprinter2)
- 查看.tar.gz文件内容(不需要解压)
- cocos2d-x 给函数接口生命周期添加检测函数,用于调试程序时检测错误。
- JAVA第十七弹(浅谈泛型)
- 递归问题
- java ssl 网络连接报:java.net.PlainSocketImpl.connect(PlainSocketImpl.java:227)
- js 时间函数应用。加 减 比较 格式转换
- LZOP解压查看文件小trick
- something about twitter
- Java 加密算法
- 让Android程序获得系统的权限,实现关机重启,静默安装等功能
- fprintf的用法
- 使用mp4v2将aac音频h264视频数据封装成mp4开发心得
- ubuntu android更新SDK长时间无法更新的解决办法
- myeclipse工作空间字符集设置
- java中的修饰符static与静态方法final的用法