mapreduce内存溢出,导致Killing container问题
来源:互联网 发布:mysql查询分析器下载 编辑:程序博客网 时间:2024/06/05 16:47
17/08/25 20:06:31 INFO mapreduce.Job: Task Id : attempt_1503705857308_0004_m_000000_0, Status : FAILED
Container [pid=1682,containerID=container_1503705857308_0004_01_000002] is running beyond virtual memory limits. Current usage: 58.1 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container.
问题原因: Hadoop运行时使用的虚拟内存不足, hadoop物理内存默认与主机的内存一致,hadoop虚拟内存l默认是hadoop物理内存的2.1倍。
解决问题:
修改hadoop物理内存的大小可以在mapred-site.xml设置:
mapreduce.map.memory.mb
2048
mapreduce.reduce.memory.mb
2048
或 修改hadoop虚拟内存与hadoop物理内存的比率值可以在yarn-site.xml设置:
yarn.nodemanager.vmem-pmem-ratio
3
阅读全文
0 0
- mapreduce内存溢出,导致Killing container问题
- 解决Bitmap导致的内存溢出问题
- substring 导致内存溢出
- 递归导致内存溢出
- domino中java代理导致内存溢出问题的解决方法
- 控件Gallery载入大图片导致OutOfMemoryError内存溢出问题
- Android使用bitmap导致内存溢出(oom)问题
- android图片占用计算&导致内存溢出的问题
- JceSecurity/BouncyCastleProvider导致JVM内存溢出、CPU过高问题排查
- JVM内存溢出导致的CPU过高问题排查案例
- 导致内存溢出的原因有哪些?内存溢出问题又如何解决
- scanf函数 导致内存溢出
- quartz定时器导致内存溢出
- jxl导致内存的溢出
- 内存泄露导致的内存溢出
- 内存泄露导致的内存溢出
- 内存泄漏导致内存溢出(OOM)
- hadoop mapreduce编程 内存溢出的解决办法
- nlp的相关资源文档,nltk,pynlp,nlpir,gensim
- 安装Paramiko模块
- INI文件读写
- 【Angular2】组件交互
- const实现的机制
- mapreduce内存溢出,导致Killing container问题
- 最大值减去最小值小于或等于num的子数组数量
- poj 2533 Longest Ordered Subsequence (最长递增子序列)
- TCP/IP协议
- 雷鸣的游戏人生(一) --- 三个笑话
- 获取验证码 HTTP Status 500
- 第48篇 字符编码探密--ASCII,UTF8,GBK,Unicode
- 两道2017华为校招Java面试题
- 《大唐姻缘传》 (李治篇)第四章 勤政事朕染风疾 同一心开疆拓土