Hadoop的内存配置
来源:互联网 发布:网络安全教育黑板报 编辑:程序博客网 时间:2024/06/05 17:45
Hadoop的内存配置有两种方法:利用手动安装hadoop的帮助脚本;手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py <options>wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz解压文件,运行hdp-configuration-utils.py脚本,执行以下命令参数主要有以下几个:
Option
Description
-c CORES
The number of cores on each host.
-m MEMORY
The amount of memory on each host in GB.
-d DISKS
Thenumber of disks on each host.
-k HBASE
"True"if HBase is installed, "False" if not.
其中:Core的数量可以通过nproc命令计算;内存大小可以通过free –m命令来计算;磁盘的数量可以同过lsblk –s或sudo fdisk –l命令来查看。python hdp-configuration-utils.py -c 24 -m 16 -d 8 -k False计算好每个选项需要的值,运行命令。例如:将返回如下结果:Using cores=24 memory=16GB disks=8 hbase=FalseProfile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8Num Container=14Container Ram=1024MBUsed Ram=14GBUnused Ram=2GByarn.scheduler.minimum-allocation-mb=1024yarn.scheduler.maximum-allocation-mb=14336yarn.nodemanager.resource.memory-mb=14336mapreduce.map.memory.mb=1024mapreduce.map.java.opts=-Xmx768mmapreduce.reduce.memory.mb=2048mapreduce.reduce.java.opts=-Xmx1536myarn.app.mapreduce.am.resource.mb=1024yarn.app.mapreduce.am.command-opts=-Xmx768mmapreduce.task.io.sort.mb=384tez.am.resource.memory.mb=2048tez.am.java.opts=-Xmx1536mhive.tez.container.size=1024hive.tez.java.opts=-Xmx768mhive.auto.convert.join.noconditionaltask.size=134217000最后可以参考以上结果来配置mapred-site.xml和yarn-site.xml文件中参数的值。
0 0
- Hadoop的内存配置
- Hadoop的内存配置
- hadoop的内存heap大小的配置参数
- hadoop yarn的内存和cpu参数配置
- Hadoop YARN中内存配置
- hadoop集群部署,内存,存储配置
- Hadoop Yarn内存使用优化配置
- Hadoop Yarn内存使用优化配置
- Hadoop 配置及hadoop HA 的配置
- Hadoop集群的配置
- Hadoop的安装配置
- hadoop的启动配置
- hadoop的环境配置
- hadoop的thriftserver配置
- hadoop的配置选项
- Hadoop的基本配置
- hadoop的linux配置
- Hadoop的安装配置
- 【LeetCode】Construct Binary Tree from Inorder and Postorder Traversal
- Struts2为什么可以用EL表达式取值?
- Android 屏幕适配
- A*B 大数
- Sublime Text 2 使用心得
- Hadoop的内存配置
- O(n) 求 最长回文子串
- 如何进行整合营销
- LA3644 并查集判环
- 使用FileSystem类操作HDFS文件
- HOJ 12817 Shipura(手动模拟栈)
- 设计模式 之 模版模式
- acdream 1142 搜索
- maven创建多级目录工程