PostgreSQL的内存管理机制十二:共享内存/shmem分配

来源:互联网 发布:程序员团队名称和口号 编辑:程序博客网 时间:2024/05/15 23:47

        pg的内存除了AllocSet/MemoryContext外,另一个主要部分就是共享内存(shared memory)。这一节讨论共享内存(简写shmem)的分配。

        pg在reset_shared()这个函数里,计算数据缓冲、xlog、clog、共享进程、子事务、并发控制、轻量级锁、backend进程等需要的共享内存,调用shmget()函数在堆上分配,用PGShmemHeader *类型的ShmemSegHdr变量的index成员指向调用hash_create()创建的共享内存索引——可扩展哈希表索引"ShmemIndex";totalSize成员中记录分配的shmem大小。

        有了共享内存和共享内存索引,再加上一个共享内存锁(关于此锁及pg中的其它锁,是一个需要很多字才能讨论清楚的点,以后专门讨论),就可以分配共享内存了。

        分配共享内存时,先把要分配内存的结构做对齐处理,然后回去共享内存锁,接着判断要分配的内存大小,大于8k的需要做块对齐,从共享内存的空闲共享内存偏移量处分配所需大小内存,判断所分配内存是否超过了共享内存的末尾地址,如果超过,释放锁,报错"out of sharedmemory",如果没有超过,释放锁,设置新的空闲共享内存偏移量,返回分配的共享内存地址。

 

 

 共享内存分配流程图

         到这儿貌似共享内存分配很简单,已经讨论完,其实不然,通常分配共享内存时还需要在共享内存索引表"ShmemIndex"加一个索引,为了清楚,再把这个索引图放到下面,复习一下。

共享内存及其索引"ShmemIndex"结构图

        下面举个在shmem上分配xlog相关内存的例子,串一下分配的过程。

        在XLOGSHmemInit()中分配xlog相关内存,初始化控制文件data/global/pg_control相关数据结构及事务日志xlog相关数据结构,在XLOGSHmemInit()函数里,首先在shmem的哈希表索引"ShmemIndex"上给控制文件pg_control增加一个HashElement和ShmemIndexEnt(entry),在shmem里根据ControlFileData大小调用ShmemAlloc()分配内存空间,使ShmemIndexEnt的成员location指向该空间,size成员记录该空间大小。

        XLOGSHmemInit()调用ShmemInitStruct(),在其中调用hash_search()在哈希表索引"ShmemIndex"中查找"XLOGCtl",如果没有,就在shmemIndex中给"XLOG Ctl"分一个HashElement和ShmemIndexEnt(entry),在其中的Entry中写上"XLOG Ctl"。返回ShmemInitStruct(),再调用ShmemAlloc()在共享内存上给"XLOG Ctl"相关结构(见下面“XLog相关结构图”)分配空间,设置entry(在这儿及ShmemIndexEnt类型变量)的成员location指向该空间,size成员记录该空间大小,最后返回XLOGShmemInit(),让XLogCtlData *类型静态全局变量XLogCtl指向在shmem里给"XLOG Ctl"相关结构分配的内存地址。

        增加了xlog相关结构在"ShmemIndex"中的索引及在共享内存/shmem中分配了内存的xlog相关结构对象的结构如下。

 

增加了xlog相关机构索引的共享内存索引"ShmemIndex"结构图

 

 

控制文件结构图

       上图中ControlFileData结构中的XLogRecPtr和CheckPoint不是指针,因此应该用右边的相应结构图代替,把这两个合进去有点费劲,将就着看吧。

 

XLog相关结构图