yarn平台的内存分配和设置

写这个博客主要是本人在hive中使用mapreduce报出以下错误

Diagnostic Messages for this Task: Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits. Current usage: 133.2 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

由报出的错误可知：虚拟内存溢出
首先什么是物理内存？什么是虚拟内存？
个人的理解是：物理内存就是实际存在的内存，在实际电脑上即内存条的大小，对于单个任务来说即是分配个这个任务的内存空间；虚拟内存即进程运行时所有内存空间的总和，并且可能有一部分不在物理内存中，比如你的内存条是256M，你的程序却要创建一个2G的数据区，那么不是所有数据都能一起加载到内存（物理内存）中，势必有一部分数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，在通过调度进入物理内存。有种说法也叫虚拟内存为内存交换区

解决这个问题，即调大虚拟内存

hive > set mapreduce.map.memory.mb;mapreduce.map.memory.mb=2048hive > set  mapreduce.reduce.memory.mb;mapreduce.reduce.memory.mb=2048hive > set yarn.nodemanager.vmem-pmem-ratio;yarn.nodemanager.vmem-pmem-ratio=3

参考yarn平台参数设置点击此处
这样map运行时的虚拟内存大小为 2048*3

类似这样的情况还有
设置Container的分配的内存大小，意味着ResourceManager只能分配给Container的内存

   大于yarn.scheduler.minimum-allocation-mb，   不能超过  yarn.scheduler.maximum-allocation-mb  的值。

ResourceManager分配给container的CPU也要满足最小和最大值的条件，通过设置

      yarn.scheduler.minimum-allocation-vcores      yarn.scheduler.maximum-allocation-vcores

如果修改了上面的配置项的值，需要重启ResourceManager。

关于超出上述设置的情况我没有遇到也没有去实验，参考他人文章说会报出以下错误：
MAP capability required is more than the supported maxcontainer capability in the cluster.
Killing the Job. mapResourceRequest: 9999maxContainerCapability:8192

Exception inthread “main” Java.lang.IllegalArgumentException:
Required executor memory (9999+6886 MB) is above the maxthreshold (8192 MB) of this cluster!

如果你遇到上面的两种情况，可以增加yarn.scheduler.maximum-allocation-mb的值，并重启RM。