Hadoop/Yarn/MapReduce内存分配(配置)方案 .
来源:互联网 发布:c语言小程序 编辑:程序博客网 时间:2024/06/06 05:46
以horntonworks给出推荐配置为蓝本,给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案,方案预留1-2G的内存给操作系统,分配4G给Yarn/MapReduce,当然也包括了HIVE,剩余的2-3G是在需要使用HBase时预留给HBase的。
Configuration FileConfiguration SettingValue Calculation 8G VM (4G For MR) yarn-site.xmlyarn.nodemanager.resource.memory-mb= containers * RAM-per-container4096yarn-site.xmlyarn.scheduler.minimum-allocation-mb= RAM-per-container1024yarn-site.xmlyarn.scheduler.maximum-allocation-mb= containers * RAM-per-container4096mapred-site.xmlmapreduce.map.memory.mb= RAM-per-container1024mapred-site.xml mapreduce.reduce.memory.mb= 2 * RAM-per-container2048mapred-site.xmlmapreduce.map.java.opts= 0.8 * RAM-per-container819mapred-site.xmlmapreduce.reduce.java.opts= 0.8 * 2 * RAM-per-container1638yarn-site.xml (check)yarn.app.mapreduce.am.resource.mb= 2 * RAM-per-container2048yarn-site.xml (check)yarn.app.mapreduce.am.command-opts= 0.8 * 2 * RAM-per-container1638tez-site.xml
tez.am.resource.memory.mb
= RAM-per-container
1024
tez-site.xml
tez.am.java.opts
= 0.8 * RAM-per-container
819tez-site.xml
hive.tez.container.size
= RAM-per-container
1024tez-site.xml
hive.tez.java.opts
= 0.8 * RAM-per-container
819
Configuration FileConfiguration SettingValue Calculation 8G VM (4G For MR) yarn-site.xmlyarn.nodemanager.resource.memory-mb= containers * RAM-per-container4096yarn-site.xmlyarn.scheduler.minimum-allocation-mb= RAM-per-container1024yarn-site.xmlyarn.scheduler.maximum-allocation-mb= containers * RAM-per-container4096mapred-site.xmlmapreduce.map.memory.mb= RAM-per-container1024mapred-site.xml mapreduce.reduce.memory.mb= 2 * RAM-per-container2048mapred-site.xmlmapreduce.map.java.opts= 0.8 * RAM-per-container819mapred-site.xmlmapreduce.reduce.java.opts= 0.8 * 2 * RAM-per-container1638yarn-site.xml (check)yarn.app.mapreduce.am.resource.mb= 2 * RAM-per-container2048yarn-site.xml (check)yarn.app.mapreduce.am.command-opts= 0.8 * 2 * RAM-per-container1638tez-site.xml
tez.am.resource.memory.mb
= RAM-per-container
1024
tez-site.xml
tez.am.java.opts
= 0.8 * RAM-per-container
819tez-site.xml
hive.tez.container.size
= RAM-per-container
1024tez-site.xml
hive.tez.java.opts
= 0.8 * RAM-per-container
819
0 0
- Hadoop/Yarn/MapReduce内存分配(配置)方案
- Hadoop/Yarn/MapReduce内存分配(配置)方案
- Hadoop/Yarn/MapReduce内存分配(配置)方案 .
- Yarn MapReduce内存分配
- Hadoop/Yarn/MapReduce内存分配(解决Error:JVM heap space问题)
- mapreduce on yarn简单内存分配解释
- Hadoop YARN中内存配置
- Mapreduce和yarn的内存配置
- Hadoop(3-1)- Yarn 内存分配管理机制及相关参数配置
- Apache hadoop nextGen mapreduce(yarn)
- Hadoop Mapreduce 2.0 Yarn
- Hadoop Yarn内存使用优化配置
- Hadoop Yarn内存使用优化配置
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- mapreduce yarn内存参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- 安装完ubuntu 14.04该做的事
- MySQL数据的主从复制、半同步复制和主主复制详解
- ActionBar第一课简介
- Ehcache缓存配置
- 简易在线投票系统(php)——数据库
- Hadoop/Yarn/MapReduce内存分配(配置)方案 .
- 【Android】AndroidManifest.xml 配置权限大全
- ClassLoader 详解及用途
- 异步同步数据Mario库简介
- ActionBar使用应用程序图标响应操作
- UIToolBar以及日期选择器的基本用法
- 《Android源码设计模式解析与实战》读书笔记(十八)
- Linux Shell 通配符、元字符、转义符使用实例介绍
- 深入理解同步/异步与阻塞/非阻塞区别