关于python读取大文件的方法

来源：互联网发布：淘宝如何上传图片清晰编辑：程序博客网时间：2024/04/30 06:51

</pre>做日志分析，需要处理非常大的日志文件，常用的方法如下所述：<pre name="code" class="python">in_f = open(file_path, 'r')  while (True):    line = in_f.readline()    if line:        #对该行数据进行操作    else:      break  in_f.close()

但是当日志太大时这种方法并不可取(读取文件失败或者特别慢)

那么现在我们介绍两种方法：

1、with读取大文件

with open(file_path) as f:    for line in f:        #对该行代码进行操作

其中with负责处理open和close文件，抛出内部异常。而for则将文件对象当做迭代对象，自动处理IO缓冲和内存管理，这样就可以对大文件进行处理。

2、fileinput处理

import fileinputfor line in fileinput.input(['file_path'])    #对该行数据进行操作

3、两种方法都好使，不过第一种方法更加符合python的风格，无需import，而且还可以处理close和Exception，感觉更棒。

参考http://www.zhidaow.com/post/python-read-big-file

0 0