hadoop job 重要性能参数

分类： hadoop2013-03-08 18:53 2626人阅读 评论(0) 收藏 举报

name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks1表示不reuse，-1表示无限reuse，其他数值表示每个jvm reuse次数。reuse的时候，map结束时不会释放内存！mapred.{map|reduce}.tasks.speculative.execution会对运行慢的任务起一个备份任务，看哪个先完成，kill掉后完成的备份io.sort.spill.percent开始spill的内存比例阈值，对map和reduce都生效mapred.job.shuffle.input.buffer.percentreduce在copy时使用的堆空间的比例mapred.tasktracker.{map|reduce}.tasks.maximum一个Tasktracker上可同时运行的最大map、reduce任务数mapred.reduce.copy.backoffreduce获取一份map输出数据的最大时间，单位秒。io.compression.codecs压缩算法dfs.block.sizehdfs上的文件block大小mapred.reduce.slowstart.completed.maps控制reduce的启动时机。表示全部map的百分之多少完成后，才启动reduce。如果机器内存紧张，可以适当设大改参数，等大部分map结束并释放内存后才启动reduce；如果希望尽快开始shuffle，则可配合大量map数，将该值设小，以尽早启动reduce，开始copy。io.sort.mbmap使用的缓存，影响spill的次数。mapred.child.java.opts同时设置map和reduce的jvm参数mapred.map.child.java.opts分开设置map的jvm参数，包括GC策略mapred.reduce.child.java.opts分开设置reduce的jvm参数map.sort.class对map的输出key的排序方法mapred.output.compression.type压缩类型mapred.min.split.size每个map的最小输入大小，该值越大，map数越少mapred.max.split.size每个map的最大输入大小，该值约小，map数越多mapred.reduce.parallel.copiesreduce从map结果copy数据时，每个reduce起的并行copy线程数。该值越大，io压力越大，但可能引起网络堵塞，copy效率反而降低。io.sort.factormerge时的并行merge数，同时影响map的spill文件merge和reduce中的mergemapred.compress.map.output指定map的输出是否压缩。有助于减小数据量，减小io压力，但压缩和解压有cpu成本，需要慎重选择压缩算法。mapred.map.output.compression.codecmap输出的压缩算法mapred.output.compressreduce输出是否压缩mapred.output.compression.codec控制mapred的输出的压缩的方式io.sort.record.percentmap中间数据的index和data在io.sort.mb中占内存的比例，默认0.05%，需要根据具体数据的特点调整：index的大小固定为16byte，需要根据data的大小调整这个比例，以使io.sort.mb的内存得到充分利用）。