如何打开很大很大的文件---python
来源:互联网 发布:渡边鱼子酱知乎 编辑:程序博客网 时间:2024/04/20 12:51
今天直接面对了一个很严重的问题,生成的一个大的字典,如何打开成了一个问题,因此发觉了一下这个问题:
基本原理:通过不断取1024KB为大小的内容,然后通过迭代器yield这个设备读取无限大的内容。
#coding=utf-8import os.pathimport time'''切分成小文件,然后读取'''def read_in_block(filepath): BLOCK_SIZE = 1024 with open(filepath,'r') as f: while True: block = f.read(BLOCK_SIZE) if block: yield block else: returnif __name__ == '__main__': path=os.getcwd() filepath = path + '\pass.txt' start_time = time.time() for i in read_in_block(filepath): print i end_time = time.time() print 'Time is ',end_time - start_time
0 0
- 如何打开很大很大的文件---python
- WMV格式的文件很大
- 文件保存很大的问题解决方法
- 制造实际很小size很大的文件
- 数据库导入体积很大的CSV文件
- UNDOTBS01.DBF文件很大
- UNDOTBS01.DBF文件很大 .
- VC资源文件突然变很大/编译出来的文件变很大的问题/DLGINT/FlexGrid
- “梳子”的用途很大
- 用处很大的博客
- 收获的意义很大
- linux用cat命令进入一个很大的文件,如何退出?
- EXCEL内容很少文件却很大---如何变小
- 如何很好的看很大的思维导图
- MacBook保存成的PDF文件很大的解决…
- 程序中如何简便表示一个很大的数
- 数据量很大的排序问题 大量数据如何排序
- 如何求m的n次方(结果很大)
- CSS常用居中方法
- w3c标准
- jQuery客户端编程实例下
- 398. Random Pick Index
- MySQL抓包工具:MySQL Sniffer【转】
- 如何打开很大很大的文件---python
- 链接真机时出现?????? no permissions 临时解决办法
- centos7 man手册更新
- Win64 驱动内核编程-5.内核里操作文件
- 第一天 --- UIWindows 简介
- c语言printf()输出格式大全
- html基础
- YUV各种格式的数据简介
- vue 多个input type = radio单击事件