Python 多进程统计所有csv文件的行数
来源:互联网 发布:linux rm 通配符 编辑:程序博客网 时间:2024/06/01 19:01
#统计某文件夹下的所有csv文件的行数(多进程)import osimport multiprocessingimport csvdef getline(path,mylist): reader = csv.reader(open(path, "r")) #读取文件 lines = 0 for item in reader: #读取每一行 lines += 1 print("self pid", os.getpid(),"lines",lines) mylist.append(lines) #将csv文件的行数添加到行数列表if __name__=="__main__": path = "C:\\Users\\csv" #存放所有csv文件的文件夹 filelist = os.listdir(path) # 存储了所有的文件名 processlist = [] # 进程列表 mylist = multiprocessing.Manager().list() #多进程共享list,共享内存。存放所有csv文件的行数的List for filename in filelist: newpath=path+"\\"+filename #绝对路径 p=multiprocessing.Process(target=getline,args=(newpath,mylist)) #开启进程 p.start() #进程开始干活 processlist.append(p) #加入进程列表 for mythd in processlist:#遍历每一个进程 mythd.join() #等待所有进程干完活 print(mylist) print("完成")
阅读全文
0 0
- Python 多进程统计所有csv文件的行数
- Python 多线程统计所有csv文件的行数
- Python 统计文件行数
- python 统计文件行数
- 统计文件的行数
- 统计文件的行数
- python统计超大文件行数
- python写的统计PYTHON文件的(代码行数,空行数,注释行数)小程序
- 利用正则表达式统计某个某个文件夹下所有java文件的 空格行数、注释行数、和代码行数
- Python 实例一 统计指定文件的行数或读取指定文件指定行数的内容
- 统计文件行数的shell
- 统计一个文件的行数
- 统计所有表的记录行数
- python统计文件行数效率对比
- python2.7.3 统计某个文件夹下所有文件或者某个文件的行数
- python列举文件夹下所有文件行数
- Linux 下使用 wc 统计文件夹下所有文件的代码行数(包括子目录)
- 利用Foundation框架写的小程序统计文件(文件夹内文件)的所有行数(或统计字数)
- adb操作命令详解
- R_散点图矩阵
- 两种xml解析方式
- KNN算法理解
- 解决vs项目调试能运行,开始执行不调试没反应的bug
- Python 多进程统计所有csv文件的行数
- DetachedCriteria详细使用
- [luogu2727][USACO3.2]Stringsobits(dp)
- js如何避免全局变量污染
- jquery $(document).ready() 与window.onload的区别
- hadoop-spark错误问题总结(二)
- Ansible常用模块介绍
- 第十一篇 ANDROID 系统网络连接和管理机制与架构
- 颈椎病康复指南