hadoop内存大小设置问题
来源:互联网 发布:windows phone8支付宝 编辑:程序博客网 时间:2024/06/05 20:08
前面博客里面提到,运行一次hadoop的时候出现java heap error。字面意思分配堆的时候出现错误,我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误,那必然是内存不够用了。那么这个namenode内存的大小该怎么取值呢?
namenode管理着集群里面所有文件的信息。简单根据文件信息给出一个准确计算内存大小的公式是不现实的。
hadoop默认namenode内存的大小为1000M,这个值对于数百万的文件来说是足够的,可以保守地设置每百万数据块需要1000MB内存。
例如,有这样一个场景,一个含有200个节点的集群,每个节点有一个24TB的磁盘,hadoop的block的大小为128MB,有三份拷贝总共需要块的数目大概在200万或者更多,那么内存大致需要多少?
首先计算可以有多少块:
(200*24000000MB)/(128MB*3)=12500,000。
然后保守估计需要多少内存:
12500,000*1000MB/1000,000=12,500MB
从上面的计算结果看出,将namenode内存的大小设置为12,000MB这个数量级别可以满足。
计算大致的值之后,怎么设置呢?
hadoop配置文件,hadoop-env.sh中有个选项HADOOP_NAMENODE_OPTS,此JVM选项是用来设置内存大小的。比如:
HADOOP_NAMENODE_OPTS=-Xmx2000m那么就是给namenode分配了2000MB的空间。
如果改变了namenode的内存大小,那么secondarynamenode的内存的大小同样也要改变,其选项是HADOOP_SECONDARYNAMENODE_OPTS。
0 0
- hadoop内存大小设置问题
- 关于设置JVM内存大小的问题
- JVM 内存大小设置
- eclipse 设置内存大小
- eclipse 设置内存大小
- tomcat内存大小设置
- 设置tomcat使用内存大小
- Tomcat设置内存大小
- Tomcat设置JVM内存大小
- myeclipse设置tomcat内存大小
- myeclipse 设置内存大小
- tomcat 设置内存大小
- TOMCAT设置内存大小
- Eclipse设置VM内存大小
- 设置Eclipse的内存大小
- JVM内存大小设置
- myeclipse 设置内存大小
- myeclipse设置tomcat内存大小
- jsoup Cookbook(中文版)-Jsoup解析HTML
- 学了一年的单片机
- Android ViewDragHelper完全解析 自定义ViewGroup神器
- 查找字符串中单词最长的
- plsql连接不上64位oracle11g的解决办法
- hadoop内存大小设置问题
- C#正则表达式的简单用法
- java与c#的区别(一)
- vim 的分屏与多标签应用
- bzoj1415: [Noi2005]聪聪和可可 记忆化搜索
- 12门徒数到3被挑出找出最后剩下的叛徒
- 引用计数型智能指针
- Android studio 解决setText中文乱码问题
- 统计字符串中每个字符的个数