海量数据按行数进行切分
来源:互联网 发布:资金互助合作社软件 编辑:程序博客网 时间:2024/06/11 17:58
import osimport codecsdef split_file(read_file,write_file): readfile = open(read_file,"r") j = 0 for line in readfile: line = line.strip() line_str = line.split('\t') if j%10000 == 0: #按10000条数据切分 num = int(j/10000) #设置文件的命名规则从0开始 _write_file = write_file+str(num)+".txt" if os.path.exists(_write_file): os.remove(_write_file) writefile = open(_write_file,"w") new_line = "'"+line_str[1]+"'"+"," writefile.write(new_line+ "\n") j += 1 readfile.close() writefile.close()if __name__=='__main__': read_file = "C:\\Users\\ziyht\\Desktop\\mysql_data_mac.txt" write_file = "C:\\Users\\ziyht\\Desktop\\test\\mac_" split_file(read_file,write_file)
阅读全文
0 0
- 海量数据按行数进行切分
- 数据进行切分
- HiveDB, 一个横向切分MySQL海量数据的框架
- SSRS 指定数据行数进行换页
- 数据切分
- 数据切分
- 用HASH表进行海量数据搜索
- 利用bitmap进行海量数据排序
- 处理淘宝双11数据,使用pandas库快速切分海量csv文件
- 【SSRS报表】按行数进行分组打印
- 如何对SQLServer的海量数据进行优化
- 如何对SQLServer的海量数据进行优化
- 基于Hadoop+Hive架构对海量数据进行查询
- 如何使用hadoop对海量数据进行统计并排序
- 数据结构-位图(可对海量数据进行处理)
- 数据分库,横向切分,纵向切分
- 数据水平切分
- 数据切分算法实践
- Constructing Roads In JGShining's Kingdom(二分法维护单调上升序列)
- 操作系统:进程同步(1)进程同步概念
- 类的抽象性知识点和示例
- POJ2993 Emag eht htiw Em Pleh
- php使用qq第三方登陆(oauth协议)
- 海量数据按行数进行切分
- GDB 调试器
- 2017-10-5
- ios-ScrollView添加到view上,view的touchesBegan无法执行
- c++如何定义不知道大小的数组
- Velocity基本语法
- HDU 5057 Argestes and Sequence 离线处理+树状数组
- caffe添加新的层
- 多线程