neicun
来源:互联网 发布:车辆识别软件 手机 编辑:程序博客网 时间:2024/06/07 13:04
OOM
从进程入手:
HADOOP 5个守护进程,HADOOP_HAPSIZE 参数设置每个守护进程的内存大小,hadoop_namemode_opt 存储每个块的索引信息,既然是name的还有个secondarynode_opt。
再说说MAP和reduce
1个tasktracker 能运行多少个map
MR任务分配是根据Containers分配,数量由CPU core+内存来确定,mapred.taskacker.map.tasks.maximum和reduce.tasks.maximum,1个core可以分配2个map Containers和1个reduce Containers,内存默认情况下mapred.child.java.opts=-Xmx200m。如果服务器为8core
最大运行的map数据是14个和14个reduce任务,mapreduce预留1个core给守护进程。
决定由任务跟踪器同时运行的 map/reduce 任务的最大数量。这两个参数与 CPU 利用率最相关。这两个参数的默认值都是 2。根据集群的具体情况适当地增加它们的值,这会提高 CPU 利用率,由此提高性能。例如,假设集群中的每个节点有 4 个 CPU,支持并发多线程,每个 CPU 有两个核;那么守护进程的总数不应该超过 4x2x2=16 个。考虑到 DN 和 TT 要占用两个,map/reduce 任务最多可以占用 14 个,所以这两个参数最合适的值是 7。
所以能看到hadoop mapreduce任务执行的进程就这几种,map和reduce job进程。
0 0
- neicun
- shezhi neicun
- build/core/base_rules.mk:166: *** frameworks/base/opengl /libs: MODULE.TARGET.ETC.egl.cfg already de
- 黑马程序员—package
- mysql命令行
- Android: “Class loader may fail for processes that host multiple applications”【转】
- SDUT2876_走楼梯(大数)
- neicun
- oracle默认监听端口更改
- uva 11127 - Triple-Free Binary Strings
- 大话数据结构——读书笔记(2)
- Service的自我认知
- ssh连接 反应慢的解决办法
- 97 调用其他程序中Activity
- Eclipse初次启动时出现Failed to create the Java Virtual Machine的解决方案
- 函数调用的入栈顺序