MapReduce优化----map和reduce的槽数的设定

来源:互联网 发布:斑马智行 知乎 编辑:程序博客网 时间:2024/05/29 04:23
1、修改mapreduce中map和reduce的槽数 
因为hadoop 的集群所有机器不可能完全硬件配置一样,那么不同节点机器负载也不一样,不同节点上并发的最大map
和reduce数量也不一样。
可以先试验下将每台tasktracker的map槽数调整到合适的数量,使得其能执行最大map数量。
在对应节点机器上修改mapred-site.xml文件,添加如下参数:默认参数为2:
在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
<description>The maximum number of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
还有多种参数的设置:mapreduce的优化,hdfs的优化,hbase的优化
hbase的优化见 http://jiajun.iteye.com/category/99897?show_full=true
原创粉丝点击