python MRJob
来源:互联网 发布:你见过最恐怖的事 知乎 编辑:程序博客网 时间:2024/06/05 04:02
#!-*- coding: utf8 -*-import reimport sysimport jiebafrom mrjob.job import MRJobword_re = re.compile(u"[\u4E00-\u9FA5]+")class TestMrJob(MRJob): def mapper(self, _, line): "" for word in word_re.findall(line.decode("utf8")): for new_word in jieba.cut(word): yield new_word.lower(), 1 def reducer(self, word, counts): yield word, sum(counts)if __name__ == '__main__': #此处注意: data = TestMrJob.run() sys.argv.append("data/2") data = TestMrJob.run() print data
0 0
- python MRJob
- python MRJob
- Mrjob介绍 (hadoop with python)
- Mrjob介绍 (hadoop with python)
- 【原创】python MRJob -…
- 使用Python MrJob的MapReduce实现电影推荐系统
- 使用Python MrJob的MapReduce实现电影推荐系统
- python调用mrjob实现hadoop的mapreduce日志解析
- 使用Python MrJob的MapReduce实现电影推荐系统
- 使用Python MrJob的MapReduce实现电影推荐系统
- mrjob文档
- python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
- python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
- 给mrjob的python脚本加map reduce 个数限制 和 hadoop任务调度优先级
- mrjob运行方式
- mrjob运行runner参数
- mrjob开源开发包
- mrjob和pymongo的互斥
- 欢迎使用CSDN-markdown编辑器
- EXCEL VBA字符串替换
- appendChild() , insertBefore()插入节点需注意的问题
- Map.Entry接口源码简析
- 数据结构顺序表定义和实现
- python MRJob
- 类名.this
- Android的多语言实现
- SQL Server 2000 视图部分内容提要
- JetBrains WebStorm 注册码>
- How to enable cURL in PHP / XAMPP
- MM模块-控制采购订单中某些项目的输出显示
- Jenkins任务构建后notification形式通知到手机
- 随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比