用 Python 编写 Hadoop MR

Hadoop 版本：2.7.2

本地测试：

cat input.txt | ./mapper.py 

提交Hadoop：

hadoop jar {HADOOP_HOME}/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar \                -file map.py                 -mapper 'python map.py' \                -reducer  cat \                -input  %s\                -output %s

map.py 基本结构

#!/usr/bin/env python#coding:utf-8import sysfor line in sys.stdin:    line = line.strip()    ...    print ...

说明：map.py 对hdfs输入的数据按行处理后直接输出到hdfs，无reduce 部分