NUMA和SMP 架构区别以及对SWAP的影响
来源:互联网 发布:网络投票刷票器 编辑:程序博客网 时间:2024/06/03 19:24
本文是转帖,转自:http://blog.chinaunix.net/uid-116213-id-3595888.html
必须得承认,即使看完了MySQL如何避免使用swap和MySQL如何避免使用swap(二),swap仍然可能顽固地在主机上复现。不过幸运的是,最近一年来众多swap问题的受害者们通过不懈的努力找到了终极原因——NUMA。下面站在巨人的肩膀上,为大家简单讲解一下NUMA的原理和优化方法。
一、NUMA和SMP
NUMA和SMP是两种CPU相关的硬件架构。在SMP架构里面,所有的CPU争用一个总线来访问所有内存,优点是资源共享,而缺点是总线争用激烈。随着PC服务器上的CPU数量变多(不仅仅是CPU核数),总线争用的弊端慢慢越来越明显,于是Intel在Nehalem CPU上推出了NUMA架构,而AMD也推出了基于相同架构的Opteron CPU。
NUMA最大的特点是引入了node和distance的概念。对于CPU和内存这两种最宝贵的硬件资源,NUMA用近乎严格的方式划分了所属的资源组(node),而每个资源组内的CPU和内存是几乎相等。资源组的数量取决于物理CPU的个数(现有的PC server大多数有两个物理CPU,每个CPU有4个核);distance这个概念是用来定义各个node之间调用资源的开销,为资源调度优化算法提供数据支持。
二、NUMA相关的策略
1、每个进程(或线程)都会从父进程继承NUMA策略,并分配有一个优先node。如果NUMA策略允许的话,进程可以调用其他node上的资源。
2、NUMA的CPU分配策略有cpunodebind、physcpubind。cpunodebind规定进程运行在某几个node之上,而physcpubind可以更加精细地规定运行在哪些核上。
3、NUMA的内存分配策略有localalloc、preferred、membind、interleave。localalloc规定进程从当前node上请求分配内存;而preferred比较宽松地指定了一个推荐的node来获取内存,如果被推荐的node上没有足够内存,进程可以尝试别的node。membind可以指定若干个node,进程只能从这些指定的node上请求分配内存。interleave规定进程从指定的若干个node上以RR算法交织地请求分配内存。
三、NUMA和swap的关系
可能大家已经发现了,NUMA的内存分配策略对于进程(或线程)之间来说,并不是公平的。在现有的Redhat Linux中,localalloc是默认的NUMA内存分配策略,这个配置选项导致资源独占程序很容易将某个node的内存用尽。而当某个node的内存耗尽时,Linux又刚好将这个node分配给了某个需要消耗大量内存的进程(或线程),swap就妥妥地产生了。尽管此时还有很多page cache可以释放,甚至还有很多的free内存。
四、解决swap问题
虽然NUMA的原理相对复杂,实际上解决swap却很简单:只要在启动MySQL之前使用numactl –interleave来修改NUMA策略即可。
值得注意的是,numactl这个命令不仅仅可以调整NUMA策略,也可以用来查看当前各个node的资源是用情况,是一个很值得研究的命令。
引用资料:
The MySQL “swap insanity” problem and the effects of the NUMA architecture
NUMA Status: Item Definition
Linux Administrator’s Manual(#man numactl)
必须得承认,即使看完了MySQL如何避免使用swap和MySQL如何避免使用swap(二),swap仍然可能顽固地在主机上复现。不过幸运的是,最近一年来众多swap问题的受害者们通过不懈的努力找到了终极原因——NUMA。下面站在巨人的肩膀上,为大家简单讲解一下NUMA的原理和优化方法。
一、NUMA和SMP
NUMA和SMP是两种CPU相关的硬件架构。在SMP架构里面,所有的CPU争用一个总线来访问所有内存,优点是资源共享,而缺点是总线争用激烈。随着PC服务器上的CPU数量变多(不仅仅是CPU核数),总线争用的弊端慢慢越来越明显,于是Intel在Nehalem CPU上推出了NUMA架构,而AMD也推出了基于相同架构的Opteron CPU。
NUMA最大的特点是引入了node和distance的概念。对于CPU和内存这两种最宝贵的硬件资源,NUMA用近乎严格的方式划分了所属的资源组(node),而每个资源组内的CPU和内存是几乎相等。资源组的数量取决于物理CPU的个数(现有的PC server大多数有两个物理CPU,每个CPU有4个核);distance这个概念是用来定义各个node之间调用资源的开销,为资源调度优化算法提供数据支持。
二、NUMA相关的策略
1、每个进程(或线程)都会从父进程继承NUMA策略,并分配有一个优先node。如果NUMA策略允许的话,进程可以调用其他node上的资源。
2、NUMA的CPU分配策略有cpunodebind、physcpubind。cpunodebind规定进程运行在某几个node之上,而physcpubind可以更加精细地规定运行在哪些核上。
3、NUMA的内存分配策略有localalloc、preferred、membind、interleave。localalloc规定进程从当前node上请求分配内存;而preferred比较宽松地指定了一个推荐的node来获取内存,如果被推荐的node上没有足够内存,进程可以尝试别的node。membind可以指定若干个node,进程只能从这些指定的node上请求分配内存。interleave规定进程从指定的若干个node上以RR算法交织地请求分配内存。
三、NUMA和swap的关系
可能大家已经发现了,NUMA的内存分配策略对于进程(或线程)之间来说,并不是公平的。在现有的Redhat Linux中,localalloc是默认的NUMA内存分配策略,这个配置选项导致资源独占程序很容易将某个node的内存用尽。而当某个node的内存耗尽时,Linux又刚好将这个node分配给了某个需要消耗大量内存的进程(或线程),swap就妥妥地产生了。尽管此时还有很多page cache可以释放,甚至还有很多的free内存。
四、解决swap问题
虽然NUMA的原理相对复杂,实际上解决swap却很简单:只要在启动MySQL之前使用numactl –interleave来修改NUMA策略即可。
值得注意的是,numactl这个命令不仅仅可以调整NUMA策略,也可以用来查看当前各个node的资源是用情况,是一个很值得研究的命令。
引用资料:
The MySQL “swap insanity” problem and the effects of the NUMA architecture
NUMA Status: Item Definition
Linux Administrator’s Manual(#man numactl)
0 0
- NUMA和SMP 架构区别以及对SWAP的影响
- Hawq学习笔记 --- SMP架构,NUMA架构 和 MPP架构
- SMP,NUMA 和 MPP 三种系统架构
- 服务器三种体系架构:NUMA、SMP和MMP
- 服务器体系(SMP, NUMA, MPP)与共享存储器架构(UMA和NUMA)
- SMP、UMA、NUMA、COMA、ccNUMA区别
- 高性能计算机的Numa、SMP、MPP架构技术特点分析
- NUMA、SMP架构下的CPU性能调优:姻亲关系、进程绑定与中断
- SMP,UMA,NUMA,MPP的概念理解
- NUMA架构的CPU
- NUMA架构的CPU
- NUMA架构的CPU
- NUMA架构的CPU
- SMP MPP NUMA
- smp,mpp,numa
- SMP vs NUMA
- SMP vs NUMA
- SMP,UMA,NUMA
- LeetCode 47. Permutations II(生成不同的组合-dfs)
- Android自定义View之View的位置参数
- 题目1155:鸡兔同笼
- 调用Hadoop时遇到的一个问题:could not find or load main class
- 职场必备, Word技巧大全
- NUMA和SMP 架构区别以及对SWAP的影响
- 【IMWeb训练营作业】Vue.js便签
- typedef详解
- 冒泡排序
- C++远航之封装篇——构造函数
- 控制对文件的访问
- VB.net chart 控件使用
- 动态规划—13最大上升子序列和
- 题目1156:谁是你的潜在朋友