mr运行过程中的一些参数

来源：互联网发布：webdriver执行js方法编辑：程序博客网时间：2024/06/06 18:38

mr运行过程中的一些参数说明：

jar包：/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar    安装hadoop时从源代码拷贝过来的，我们可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out 把这个jar包里wordcount功能提交给map_reduce当做一个作业运行，测试map_reduce系统是否可以正常工作，in  输入数据目录（数据源） out 输出数据目录（即输出到哪里）
12/09/17 20:39:06 INFO input.FileInputFormat: Total input paths to process : 2
12/09/17 20:39:07 INFO mapred.JobClient: Running job: job_201209172027_0002       运行作业号“2012年9月17日1856不是时间”
12/09/17 20:39:08 INFO mapred.JobClient:  map 0% reduce 0%
12/09/17 20:40:34 INFO mapred.JobClient:  map 50% reduce 0%
12/09/17 20:40:49 INFO mapred.JobClient:  map 100% reduce 0%                      map  reduce进度
12/09/17 20:41:02 INFO mapred.JobClient:  map 100% reduce 100%
12/09/17 20:41:04 INFO mapred.JobClient: Job complete: job_201209172027_0002    作业完成
12/09/17 20:41:04 INFO mapred.JobClient: Counters: 17
12/09/17 20:41:04 INFO mapred.JobClient: Job Counters                         作业计数器
12/09/17 20:41:04 INFO mapred.JobClient:    Launched reduce tasks=1             启动reduce任务1个
12/09/17 20:41:04 INFO mapred.JobClient:    Launched map tasks=3                启动map任务3个
12/09/17 20:41:04 INFO mapred.JobClient:    Data-local map tasks=3
12/09/17 20:41:04 INFO mapred.JobClient: FileSystemCounters                   文件系统计数器
12/09/17 20:41:04 INFO mapred.JobClient:    FILE_BYTES_READ=59
12/09/17 20:41:04 INFO mapred.JobClient:    HDFS_BYTES_READ=29
12/09/17 20:41:04 INFO mapred.JobClient:    FILE_BYTES_WRITTEN=188
12/09/17 20:41:04 INFO mapred.JobClient:    HDFS_BYTES_WRITTEN=29
12/09/17 20:41:04 INFO mapred.JobClient: Map-Reduce Framework                   map_reduce框架
12/09/17 20:41:04 INFO mapred.JobClient:    Reduce input groups=3                reduce输入组3
12/09/17 20:41:04 INFO mapred.JobClient:    Combine output records=4             合并输出记录4
12/09/17 20:41:04 INFO mapred.JobClient:    Map input records=2                map输入记录2
12/09/17 20:41:04 INFO mapred.JobClient:    Reduce shuffle bytes=65             reduce shuffle=预处理减少计算量算的更快
12/09/17 20:41:04 INFO mapred.JobClient:    Reduce output records=3             reduce输出记录3
12/09/17 20:41:04 INFO mapred.JobClient:    Spilled Records=8                   溢出记录8
12/09/17 20:41:04 INFO mapred.JobClient:    Map output bytes=45                map输出字节45
12/09/17 20:41:04 INFO mapred.JobClient:    Combine input records=4             合并输入记录4
12/09/17 20:41:04 INFO mapred.JobClient:    Map output records=4                map输出记录4
12/09/17 20:41:04 INFO mapred.JobClient:    Reduce input records=4             reduce输入记录4

0 0