multiprocess Poll.map python多进程提取处理大量文本的关键词
来源:互联网 发布:新海诚风格知乎 编辑:程序博客网 时间:2024/06/05 20:02
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from multiprocessing import Pool,Queue,Process
import multiprocessing as mp
import time,random
import os
import codecs
import jieba.analyse
jieba.analyse.set_stop_words("yy_stop_words.txt")
def extract_keyword(input_string):
tags = jieba.analyse.extract_tags(input_string, topK=100)
return tags
def parallel_extract_keyword(input_string):
tags = jieba.analyse.extract_tags(input_string, topK=100)
return tags
if __name__ == "__main__":
data_file = sys.argv[1]
with codecs.open(data_file) as f:
lines = f.readlines()
f.close()
out_put = data_file.split('.')[0] +"_tags.txt"
t0 = time.time()
for line in lines:
parallel_extract_keyword(line)
print("串行处理花费时间{t}".format(t=time.time()-t0))
pool = Pool(processes=int(mp.cpu_count()*0.7))
t1 = time.time()
res = pool.map(parallel_extract_keyword,lines)
pool.close()
pool.join()
print("并行处理花费时间{t}s".format(t=time.time()-t1))
阅读全文
0 0
- multiprocess Poll.map python多进程提取处理大量文本的关键词
- python多进程提取处理大量文本的关键词
- 【python】多进程锁multiprocess.Lock
- Python 多进程锁multiprocess Lock
- 文本关键词的提取算法实验
- 文本关键词的提取算法实验
- 文本关键词提取算法
- 文本关键词提取算法
- 文本关键词提取算法
- 文本关键词提取算法
- Android 多进程multiprocess 详解
- python的multiprocess的使用
- 关于关键词提取,摘要提取的,及文本相似总结
- python multiprocess
- python实现关键词提取
- TF-IDF 提取文本关键词
- 文本关键词提取算法总结
- 自动提取文本关键词demo
- zcmu-1670
- shell脚本的几种不同执行方式的区别实验
- ECharts3笔记--使用Java快速开发ECharts图表
- 2017年8月12日提高组T1 YMW的杯子
- JAVA List集合的基础知识
- multiprocess Poll.map python多进程提取处理大量文本的关键词
- Luogu P2680 [NOIp提高组2015]运输计划
- Listview+ImageLoder
- jQuery之jquery.lazyload.js插件用法
- Oracle 存储过程中的DDL语句
- JAVA set接口的基础知识
- JavaScript怎么改变div的背景颜色
- 使用python实现HMM
- Add Two Numbers leetcode java