如何读取超大容量文本txt文件

来源:互联网 发布:java tar 编辑:程序博客网 时间:2024/05/27 20:50

 在压力测试过程中抓取的log文件有几百M的大小,通过文本编辑器,PSPAD等工具都无法打开,

这里提供一种分割文件并读取的方法;

将log文件copy到linux环境或服务器,通过下面命令将大文件分割为小文件,然后再查看小文件定位问题。

awk -F% 'NR==1,NR==200000  {print $0}' 2014-6-4-2.log>log1

awk -F% 'NR==200000,NR==400000  {print $0}' 2014-6-4-2.log>log2

........

 

 

还有更好的测试方法

split -b 100m 2014-6-4-2.log

自动会将1.3G的log文件切割成100M的;

0 0
原创粉丝点击