有关 Python 中的 File.readlines(sizehint) 函数
来源:互联网 发布:excel数据分析插件 编辑:程序博客网 时间:2024/04/28 21:50
在处理日志文件的时候,常常会遇到这样的情况:日志文件巨大,不可能一次性把整个文件读入到内存中进行处理,例如需要在一台物理内存为 2GB 的机器上处理一个 2GB 的日志文件,我们可能希望每次只处理其中 200MB 的内容。
在 Python 中,内置的 File 对象直接提供了一个 readlines(sizehint) 函数来完成这样的事情。以下面的代码为例:
每次调用 readlines(sizehint) 函数,会返回大约 200MB 的数据,而且所返回的必然都是完整的行数据,大多数情况下,返回的数据的字节数会稍微比 sizehint 指定的值大一点(除最后一次调用 readlines(sizehint) 函数的时候)。通常情况下,Python 会自动将用户指定的 sizehint 的值调整成内部缓存大小的整数倍。
在 Python 中,内置的 File 对象直接提供了一个 readlines(sizehint) 函数来完成这样的事情。以下面的代码为例:
file = open('test.log', 'r')
sizehint = 209715200 # 200M
position = 0
lines = file.readlines(sizehint)
while not file.tell() - position < 0:
position = file.tell()
lines = file.readlines(sizehint)
每次调用 readlines(sizehint) 函数,会返回大约 200MB 的数据,而且所返回的必然都是完整的行数据,大多数情况下,返回的数据的字节数会稍微比 sizehint 指定的值大一点(除最后一次调用 readlines(sizehint) 函数的时候)。通常情况下,Python 会自动将用户指定的 sizehint 的值调整成内部缓存大小的整数倍。
- 有关 Python 中的 File.readlines(sizehint) 函数
- python readlines()函数
- python file.readlines无法循环
- python read() readline() readlines()函数
- python 中的read,readline,readlines
- File#readlines
- python中的read()、readline()与readlines()
- python中的 read() readline()和readlines()
- Python中的readlines函数读取到特殊字符时会截断导致文件读取不完整
- python(2)readlines()函数的注意问题
- python中读取文件函数read()、readline()、readlines()的区别
- python中的三个读read(),readline()和readlines()
- python 中的三个读read(),readline()和readlines()
- python 中的 read readline readlines 与 wirte writelines
- python中的三个读read(),readline()和readlines()
- python中的三个读read(),readline()和readlines()
- python中的三个读read(),readline()和readlines()
- python中的三个读read(),readline()和readlines()
- 今天开始弄c++,copy下人家的文章来看看参考一下哈哈
- 星际2隆重登场
- 登陆现象详解
- request中取得一些常用参数
- 安全路由器扫描
- 有关 Python 中的 File.readlines(sizehint) 函数
- 如何用visual studio 2005中调试 Windows Mobile MFC ACTIVEX控件
- java学习日记
- 在JbuilderX中Struts工程完成properties的使用
- 巧克力
- Testing
- LCC编译器的源程序分析(9)声明分析
- 网络管理知识之网关篇
- 第3章 Apache可移植运行期库《The Apache Modules Book Application Development with Apache》