[Linux内存]slab分配器学习笔记(一)--概念
来源:互联网 发布:java如何输入数组 编辑:程序博客网 时间:2024/06/08 14:24
http://blog.csdn.net/vanbreaker/article/details/7664296
1,为什么需要slab分配器:
利用伙伴系统进行分配内存只能按照页的单位进行分配,这样会造成很多的内存浪费,多了很多内存碎片,比如只需要申请10字节的,结果分配了一个页。
2,slab分配器和伙伴系统分配的差别
slab分配器是基于对象进行管理的,相同类型的对象归为一类(如进程描述符就是一类),每当要申请这样一个对象,slab分配器就从一个slab列表中分配一个这样大小的单元出去,而当要释放时,将其重新保存在该列表中,而不是直接返回给伙伴系统。slab分配对象时,会使用最近释放的对象内存块,因此其驻留在CPU高速缓存的概率较高
Slab分配器由很多缓存(动态链表)组成,不同的缓存大小不同(如名为kmalloc-128的缓存所管理对象的长度为128字节)。Linux的Slab缓存分为专用和通用两种,通用缓存通过函数kmem_cache_init() 进行初始化,适用于特定对象,比如各种描述符,存放进程描述符的缓存大小就是sizeof(task_struct);而专用缓存则通过函数 kmem_cache_create()创建。通用Slab的对象大小预先定义好的,一般是2的次幂(cache对齐的需要),Linux使用13级, 如下:32、64、128、256、512、1024、2048、4096、8192、16384、32768、65536、131072。这样可以保证内存碎片小于百分之50
3,slab的概念
slab分配器把内存区看作对象(object),这些对象由一组数据结构和几个构造函数或者析构函数组成,分别用于初始化和回收内存。slab分配器把对象分组放进告诉缓存,包含高速缓存的主内存区被划分为多个slab,每个slab由一个或者多个连续的页组成,这些页框包含已分配对象和空闲对象。
每一个slab对象都有一个kmem_bufctl_t描述符,每个slab的对象描述符都存放在slab描述符的后面。因此((kmem_bufctl_t*)(slab + 1)就指向slab的kmem_bufctl_t描述符地址,语句((kmem_bufctl_t*)(slab + 1)[i]就是访问第i个对象的索引。
4,slab分配器用的相关数据结构
用于描述和管理cache的数据结构是struct kmem_cache
struct kmem_cache { /* 1) per-cpu data, touched during every alloc/free */ /*per-CPU数据,记录了本地高速缓存的信息,也用于跟踪最近释放的对象,每次分配和释放都要直接访问它*/ struct array_cache *array[NR_CPUS]; /* 2) Cache tunables. Protected by cache_chain_mutex */ unsigned int batchcount; /*本地高速缓存转入或转出的大批对象数量*/ unsigned int limit; /*本地高速缓存中空闲对象的最大数目*/ unsigned int shared; unsigned int buffer_size;/*管理对象的大小*/ u32 reciprocal_buffer_size;/*buffer_size的倒数值*/ /* 3) touched by every alloc & free from the backend */ unsigned int flags; /* 高速缓存的永久标识*/ unsigned int num; /* 一个slab所包含的对象数目 */ /* 4) cache_grow/shrink */ /* order of pgs per slab (2^n) */ unsigned int gfporder; /*一个slab包含的连续页框数的对数*/ /* force GFP flags, e.g. GFP_DMA */ gfp_t gfpflags; /*与伙伴系统交互时所提供的分配标识*/ size_t colour; /* 颜色的个数*/ unsigned int colour_off; /* 着色的偏移量 */ /*如果将slab描述符存储在外部,该指针指向存储slab描述符的cache, 否则为NULL*/ struct kmem_cache *slabp_cache; unsigned int slab_size; /*slab管理区的大小*/ unsigned int dflags; /*动态标识*/ void (*ctor)(void *obj); /*创建高速缓存时的构造函数指针*/ /* 5) cache creation/removal */ const char *name; /*高速缓存名*/ struct list_head next; /*用于将高速缓存链入cache chain*/ /* 6) statistics */ /*struct kmem_list3用于组织该高速缓存中的slab*/ struct kmem_list3 *nodelists[MAX_NUMNODES]; /* * Do not add fields after nodelists[] */ }; struct kmem_list3 { struct list_head slabs_partial;/*slab链表,包含空闲对象和已分配对象的slab描述符*/ struct list_head slabs_full; /*slab链表,只包含非空闲的slab描述符*/ struct list_head slabs_free; /*slab链表,只包含空闲的slab描述符*/ unsigned long free_objects; /*高速缓存中空闲对象的个数*/ unsigned int free_limit; /*空闲对象的上限*/ unsigned int colour_next; /*下一个slab使用的颜色*/ spinlock_t list_lock; struct array_cache *shared; /* shared per node */ struct array_cache **alien; /* on other nodes */ unsigned long next_reap; /* updated without locking */ int free_touched; /* updated without locking */ }; 描述和管理单个slab的结构是struct slabstruct slab { struct list_head list; /*用于将slab链入kmem_list3的链表*/ unsigned long colouroff;/*该slab的着色偏移*/ void *s_mem; /*指向slab中的第一个对象*/ unsigned int inuse; /*已分配出去的对象*/ kmem_bufctl_t free; /*下一个空闲对象的下标*/ unsigned short nodeid; /*节点标识号*/ };
各个数据结构之间关系:
slab描述符可以放在以下两个地方
1,外部slab描述符,存在普通的高速缓存
2,内部slab描述符,位于分配给slab的第一个页框的起始位置
struct kmem_cache中定义了一个struct array_cache指针数组,数组的元素个数对应了系统的CPU数,和伙伴系统中的每CPU页框高速缓存类似,该结构用来描述每个CPU的本地高速缓存,在每个array_cache的末端都用一个指针数组记录了slab中的空闲对象,分配对象时,采用LIFO方式,也就是将该数组中的最后一个索引对应的对象分配出去,以保证该对象还驻留在高速缓存中的可能性。实际上,每次分配内存都是直接与本地CPU高速缓存进行交互,只有当其空闲内存不足时,才会从kmem_list中的slab中引入一部分对象到本地高速缓存中,而kmem_list中的空闲对象也不足了,那么就要从伙伴系统中引入新的页来建立新的slab了,这一点也和伙伴系统的
每CPU页框高速缓存很类似。
struct array_cache { unsigned int avail;/*本地高速缓存中可用的空闲对象数*/ unsigned int limit;/*空闲对象的上限*/ unsigned int batchcount;/*一次转入和转出的对象数量*/ unsigned int touched; /*标识本地CPU最近是否被使用*/ spinlock_t lock; void *entry[]; /*这是一个伪数组,便于对后面用于跟踪空闲对象的指针数组的访问 */ };
因此,对象分配的次序为:(1)特定于CPU/节点的缓存列表中的对象(2)当前已经存在于slab缓存中中的未用对象(3)从伙伴系统获得内存,然后创建的对象
对象在slab中不是连续排列的,其排列如图所示:
5,伙伴系统 slab分配器的关系
- [Linux内存]slab分配器学习笔记(一)--概念
- [Linux内存]slab分配器学习笔记(二)--slab着色
- [Linux内存]slab分配器学习笔记(三)--实现
- Linux内存管理 Slab分配器(一:概述)
- linux内核内存管理学习之三(slab分配器)
- linux内核内存管理学习之三(slab分配器)
- linux内核内存管理学习之三(slab分配器)
- linux内核内存管理学习之三(slab分配器)
- linux内核内存管理学习之三(slab分配器)
- [Linux内存]slub分配器学习笔记(一)--基本概念
- Linux内存管理Slab分配器
- linux 内存的slab分配器
- Linux内存管理 Slab分配器
- Linux内存管理 Slab分配器
- Linux内核-内存-slab分配器
- Linux内存管理slab分配器
- Linux内存管理slab分配器
- [Linux内存]linux内存学习(六)——slab分配器
- ScrollView嵌套 ExpandableListView
- android 自动更新apk版本
- C#海康解码器上大屏代码事例
- cclablettf字体描边实现
- linux内核学习之进程管理(待续)
- [Linux内存]slab分配器学习笔记(一)--概念
- CocoaPods的使用
- ViewPager+ListView+grideView
- JAXB解析xml文件转换为POJO
- SVN服务器搭建和使用(一)
- 打开BMP图参考网页
- 关于EXPORT_SYMBOL
- 超过了最大请求长度
- SVN服务器搭建和使用(二)