python模版
来源:互联网 发布:会发光的自然植物知乎 编辑:程序博客网 时间:2024/05/22 08:03
最近代码的重复量太高了 找个时间整理一下 生成一个方便的模块模板
#!/usr/bin/env python#-*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')import os,traceback,<span style="font-family: Arial, Helvetica, sans-serif;">logging</span>
<pre name="code" class="python">import multiprocessing
<pre name="code" class="python">import reimport jiebaimport ConfigParser,import datetimedef myprocess(num,indir,titles,lock):try:fin = open(indir + os.sep + str(num),'r')cnt0 = 0for line in fin:cnt0 += 1if cnt0 %100 == 0:print num,cnt0if cnt0 == 10000:breakdata = eval(line.strip())us_id = int(data[21])title = data[8]if title.strip() == '':continuewith lock:if title in titles:titles[title].append(us_id) else:titles[title]=[us_id]print num,'END'except Exception,e:traceback.print_exc()def func():indir = '/root/data/bids/data_all'outdir = './titles1119'#if not os.path.exists(outdir):# os.mkdir(outdir)start,end,add = 0,20,1manager = multiprocessing.Manager()lock = manager.Lock()titles = manager.dict()#开启进程池pool = multiprocessing.Pool(processes = 16)for num in range(start,end,add):pool.apply_async(myprocess,[num,indir,titles,lock])pool.close()pool.join()titles = dict(titles)with open(outdir,'w') as fout:for title in titles:print >> fout,'%s\t%s'%(title,titles[title])if len(titles[title])>1:print titles[title]if __name__ == '__main__':program = os.path.basename(sys.argv[0])logger = logging.getLogger(program)logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s',filename = program+'.log',filemode='a')logging.root.setLevel(level=logging.INFO)logger.info("start running %s" % ' '.join(sys.argv))func()logger.info("end\t running %s" % ' '.join(sys.argv))
0 0
- python模版
- Python 模版引擎
- python django模版渲染页面
- [python][Flask] 模版的使用
- Python网络编程08----Django模版
- Python - 基础模版学习
- Python Mako模版之页面继承
- Python/C/C++ 万能注释模版
- python设计模式(模版方法模式)
- 模版
- 模版
- 模版
- 模版
- 模版
- 模版
- 模版
- 模版
- 模版
- webrtc 丢包反馈之 rtcp goog-remb
- 关于Linux的缓存内存 Cache Memory详解
- 文章标题
- 原 异常解决WARNING: Could not open/create prefs root n... 发表于2年前(2013-08-14 14:39) 阅读(3632) | 评论(4) 4人
- #1082 : 然而沼跃鱼早就看穿了一切(AC版)
- python模版
- Linux系统下如何挂载FAT32的U盘
- HTTP:状态码304
- CSS模拟实现alert和confirm实现
- JavaWeb---文件读取/IO流
- 函数指针和函数
- Java的七大设计原则
- ViewPager 和 TabLayout实现Fragment分页
- 隐藏Android下的虚拟按键