MR笔记：Map-Reduce实践笔记

1：一些
瓶颈在I/O这一块，因为大数据的传输。

通过分片实现数据计算本地化，一个分片对应一个task

其他并行计算框架：MPI PVM CUDA BOINC

目前云计算主流解决方案：Hadoop与Openstack（EC2的山寨版，EC2是云计算开山之作，属于亚马逊）

2：应用
hadoop进行日志收集与分析（eg.京东POP 淘宝数据魔方）

淘宝：hadoop集群/云梯 storm实时处理/银河 数据存入MySql/MyFOX与HBase/Prom普罗米修斯

百度hadoop：用户搜索日志与访问日志

3：执行
设置Reducer数目：mapred-site.xml
添加属性mapred.reduce.tasks，缺省为1

多个class打成test.jar：jar cvf ./test.jar ./*.class

运行mapreduce：bin/hadoop jar ./test.jar Test ./in/data/shuju ./out

4：性能调优
reducer数目
输入大文件优于小文件
减少网络输出：压缩map的输出
调节每个节点能运行的任务数：mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum
缺省为2

5：传统统计脚本M-R化
hadoop-streaming：无需任何API，即可完美融合，分布式计算加速传统任务。

6：linux自带wordcount
root@ServerTony:/home/tony/input# cat test1.txt 
hello world
root@ServerTony:/home/tony/input# cat test1.txt | wc
      1       2      12
root@ServerTony:/home/tony/input# cat test1.txt | wc -l
1
root@ServerTony:/home/tony/input# cat test1.txt | wc -w
2
root@ServerTony:/home/tony/input# cat test1.txt | wc -c
12

hadoop-streaming运行linux自带wc：
bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -input in -output output -mapper /bin/cat -reducer /usr/bin/wc
root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -cat ./output/part-00000
      2       4      27

7：任务执行优化
mapred.job.reuse.jvm.num.tasks设置单个JVM运行上限最大任务数，-1表示无限制