python在hadoop上运行
来源:互联网 发布:c语言接口 编辑:程序博客网 时间:2024/04/30 13:52
1、命令样式:
hadoop jar $STREAM \
-files ./mapper.py,./reducer.py \
-mapper ./mapper.py \
-reducer ./reducer.py \
-input /user/$(whoami)/input/*.txt \
-output /user/$(whoami)/output
hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar -files source/map_temperature.py,source/reduce_temperature.py -mapper map_temperature.py -reducer reduce_temperature.py -input /input/temperature1/* -output /output/MaxTemp4
2、本地测试方法:
cat 1901.txt | python map_temperature.py | sort | python reduce_temperature.py
3、源码
mapper.py
#!/usr/bin/env python
#coding=utf-8
import re
import sys
for line in sys.stdin:
val = line.strip()
try:
(year, temp, q) = (val[15:19],val[87:92],val[92:93])
except:
(year, temp, q) = (2014,25,1)
# print ("{},{},{}".format(year,temp,q))
if temp!= "+9999" and re.match("[01459]",q):
print "%s,%s"%(year,temp)
recudce.py
#!/usr/bin/env python
#coding=utf-8
import sys
(last_key, max_val) = (None, -sys.maxint)
for line in sys.stdin:
# print line
# print line.strip().split(",")
try:
(key, val) = line.strip().split(",")
if last_key and last_key!= key:
print "%s,%s"%(last_key,max_val)
(last_key, max_val) = (key, int(val))
else:
(last_key, max_val) = (key, max(max_val, int(val)))
except:
print "==================error=========================="
continue
if last_key:
print "%s,%s"%(last_key, max_val)
0 0
- python在hadoop上运行
- 用python在hadoop上运行wordcount
- 在Hadoop上运行Python脚本
- Hadoop-将python代码运行在hadoop上
- python版的mapreduce程序运行在hadoop上
- 在Hadoop上运行python程序错误集合
- 在hadoop上运行java程序
- 在idea上运行hadoop程序
- 让python在hadoop上跑起来
- 在Android上运行python程序
- 在android手机上运行python程序
- 在linux服务器上运行python文件
- 在 Android 手机上运行 Python 程序
- Python程序在Android手机上运行
- Python脚本在Linux上怎么运行
- 在MATLAB上运行Python示例
- python 如何在mac上运行
- 在windows上运行python程序
- js截取字符串的方法
- 点击切换图片
- QT 拖放QListWidget内的Item(效果类似剪切)
- 远程连不上可能解决方案
- 富文本常用封装(NSAttributedString浅析)
- python在hadoop上运行
- USACO 2009 Open SkiLessons
- 关于HDC和CDC
- 谁能撼动美国男篮霸主地位?东京奥运看这四队
- 抓包技术-速成
- 将搜索二叉树转换成双向链表
- 图与图算法在实际中的应用
- DB,Cache和Redis应用场景分析
- 不定宽高的水平和竖直同时居中