hadoop中mapred.tasktracker.map.tasks.maximum的设置
来源:互联网 发布:生物多样性保护网络 编辑:程序博客网 时间:2024/05/16 02:34
目前,我们邮件的一部分log已经迁移到Hadoop集群上
并由Hive来执行相关的查询
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即:每一个tasktracker同时运行的map任务数为2
照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec
经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适
此时的运行效率最高,大概花费3mins, 25sec
我们现在的机器都是8核的,所以最终配置如下:
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>8</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
而对于mapred.map.tasks(每个job的map任务数)值,hadoop默认值也为2
可以在执行hive前,通过set mapred.map.tasks=24来设定
但由于使用hive,会操作多个input文件,所以hive默认会把map的任务数设置成输入的文件数目
即使你通过set设置了数目,也不起作用…
0 0
- hadoop中mapred.tasktracker.map.tasks.maximum的设置
- hadoop中mapred.tasktracker.map.tasks.maximum的设置
- mapred.map.tasks 如何影响map的个数
- mapred.map.tasks 如何影响map的个数
- 从一个经典案例看优化mapred.map.tasks的重要性
- [Hive]从一个经典案例看优化mapred.map.tasks的重要性
- [Hive]从一个经典案例看优化mapred.map.tasks的重要性
- [Hive]从一个经典案例看优化mapred.map.tasks的重要性
- Hadoop对Map执行框架的实现(TaskTracker端)
- 【Mapred】jobtracker & tasktracker架构作业是怎么提交的
- hadoop中mapred常见错误
- Hadoop 参数 mapred.map.child.java.opts
- Hadoop中mapred包和mapreduce包的区别
- hadoop中mapred和mapreduce包的区别
- Hadoop中mapred包和mapreduce包的区别
- hadoop jar包中mapred和mapreduce的区别
- Hadoop中mapred包和mapreduce包的区别(转)
- Hadoop中mapred包和mapreduce包的区别
- PAT 1009. Product of Polynomials (25)
- Ubuntu adb devices :???????????? no permissions
- 欧拉函数 因子分解 TOJ 2918 LCM Revisited---
- spring mvc 上传文件进度条
- visual studio 2013 编译 filezilla和filezilla server
- hadoop中mapred.tasktracker.map.tasks.maximum的设置
- VC托盘程序
- jstl与el表达式 和面向对象
- OpenCv轮廓高级应用(轮廓匹配,几何直方图)
- Java集合学习笔记
- BroadcastReceiver 的基本使用方法
- 【Jsoup学习礼记】使用DOM方法来遍历一个文档
- android notification的支持
- iOS开发UI篇—实现一个私人通讯录小应用(二)