hadoop-1.0.3 mrbenchc测试用例

 

hadoop jar hadoop-test-1.0.3.jar mrbench  -inputLines 500 -maps 8 -reduces 50

 

注意, inputLines 选项默认为1， 如果不设的话，会导致输入数据过小，则后面无论你maps参数设置多少，在作业初始化时InputFormat的getSplits函数会根据maps参数的数据计算平均每块的数据大小，若数据过小则总的splits数目，即maps数目则设置为默认值2, 查了1个小时才查明白怎么回事。。。。 

他妹的...

 

PS: 此外，在修改JobClietn代码后，log4j里增加了一句：log4j.logger.org.apache.hadoop.mapred.JobClient=DEBUG, 然后发现其Log输出都在console上面不知道是咋回事。