文件内存映射mmap解决大文件快速读写问题

转自：http://blog.csdn.net/gulaizi/article/details/6325726

mmap函数主要用途有三个：

1、将一个普通文件映射到内存中，通常在需要对文件进行频繁读写时使用，这样用内存读写取代I/O读写，以获得较高的性能；

2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；

3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。

Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上), 通过对这段内存的读取和修改, 实现对文件的读取和修改。

 

一、使用步骤

* 用open系统调用打开文件, 并返回描述符fd.

* 用mmap建立内存映射, 并返回映射首地址指针start.

* 对映射(文件)进行各种操作, 显示(printf), 修改(sprintf).

* 用munmap(void *start, size_t lenght)关闭内存映射.

* 用close系统调用关闭文件fd.

 

二、mmap函数用法

* 头文件:

          #include <unistd.h>

          #include <sys/mman.h>

* 函数：void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize);

参数start：指向欲映射的内存起始地址，通常设为 NULL，代表让系统自动选定地址，映射成功后返回该地址。

参数length：代表将文件中多大的部分映射到内存。

参数prot：映射区域的保护方式。可以为以下几种方式的组合：

PROT_EXEC 映射区域可被执行

PROT_READ 映射区域可被读取

PROT_WRITE 映射区域可被写入

PROT_NONE 映射区域不能存取

参数flags：影响映射区域的各种特性。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。

MAP_FIXED 如果参数start所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此旗标。

MAP_SHARED对映射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。

MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域作的任何修改都不会写回原来的文件内容。

MAP_ANONYMOUS建立匿名映射。此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。

MAP_DENYWRITE只允许对映射区域的写入操作，其他对文件直接写入的操作将会被拒绝。

MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。

参数fd：要映射到内存中的文件描述符。如果使用匿名内存映射时，即flags中设置了MAP_ANONYMOUS，fd设为-1。有些系统不支持匿名内存映射，则可以使用fopen打开/dev/zero文件，然后对该文件进行映射，可以同样达到匿名内存映射的效果。

参数offset：文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。

返回值：

若映射成功则返回映射区的内存起始地址，否则返回MAP_FAILED(－1)，错误原因存于errno 中。

错误代码：

EBADF 参数fd 不是有效的文件描述词

EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读，使用MAP_SHARED则要有PROT_WRITE以及该文件要能写入。

EINVAL 参数start、length 或offset有一个不合法。

EAGAIN 文件被锁住，或是有太多内存被锁住。

ENOMEM 内存不足。

* 系统调用mmap()用于共享内存的两种方式：

（1）使用普通文件提供的内存映射：

适用于任何进程之间。此时，需要打开或创建一个文件，然后再调用mmap()

典型调用代码如下：

fd=open(name, flag, mode); if(fd<0) ...

ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);

通过mmap()实现共享内存的通信方式有许多特点和要注意的地方，可以参看UNIX网络编程第二卷。

（2）使用特殊文件提供匿名内存映射：

适用于具有亲缘关系的进程之间。由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用 fork()。那么在调用fork()之后，子进程继承父进程匿名映射后的地址空间，同样也继承mmap()返回的地址，这样，父子进程就可以通过映射区域进行通信了。注意，这里不是一般的继承关系。一般来说，子进程单独维护从父进程继承下来的一些变量。而mmap()返回的地址，却由父子进程共同维护。对于具有亲缘关系的进程实现共享内存最好的方式应该是采用匿名内存映射的方式。此时，不必指定具体的文件，只要设置相应的标志即可。 

转自：http://www.cnblogs.com/lknlfy/archive/2012/04/27/2473804.html

Linux内存映射（mmap）

一. 概述

          内存映射，简而言之就是将用户空间的一段内存区域映射到内核空间，映射成功后，用户对这段内存区域的修改可以直接反映到内核空间，相反，内核空间对这段区域的修改也直接反映用户空间。那么对于内核空间<---->用户空间两者之间需要大量数据传输等操作的话效率是非常高的。

        首先，驱动程序先分配好一段内存，接着用户进程通过库函数mmap()来告诉内核要将多大的内存映射到内核空间，内核经过一系列函数调用后调用对应的驱动程序的file_operation中的mmap函数，在该函数中调用remap_pfn_range()来建立映射关系。直白一点就是：驱动程序在mmap()中利用remap_pfn_range()函数将内核空间的一段内存与用户空间的一段内存建立映射关系。

用户空间mmap()函数：

void *mmap(void *start, size_t length, int prot, int flags,int fd, off_t offset)

start：用户进程中要映射的某段内存区域的起始地址，通常为NULL（由内核来指定）

length：要映射的内存区域的大小

prot：期望的内存保护标志

flags：指定映射对象的类型

fd：文件描述符（由open函数返回）

offset：要映射的用户空间的内存区域在内核空间中已经分配好的的内存区域中的偏移。大小为PAGE_SIZE的整数倍

 

二. 实现

         首先在驱动程序分配一页大小的内存，然后用户进程通过mmap()将用户空间中大小也为一页的内存映射到内核空间这页内存上。映射完成后，驱动程序往这段内存写10个字节数据，用户进程将这些数据显示出来。

驱动程序：

 1 #include <linux/miscdevice.h> 2 #include <linux/delay.h> 3 #include <linux/kernel.h> 4 #include <linux/module.h> 5 #include <linux/init.h> 6 #include <linux/mm.h> 7 #include <linux/fs.h> 8 #include <linux/types.h> 9 #include <linux/delay.h>10 #include <linux/moduleparam.h>11 #include <linux/slab.h>12 #include <linux/errno.h>13 #include <linux/ioctl.h>14 #include <linux/cdev.h>15 #include <linux/string.h>16 #include <linux/list.h>17 #include <linux/pci.h>18 #include <linux/gpio.h>19 20 21 #define DEVICE_NAME "mymap"22 23 24 static unsigned char array[10]={0,1,2,3,4,5,6,7,8,9};25 static unsigned char *buffer;26 27 28 static int my_open(struct inode *inode, struct file *file)29 {30     return 0;31 }32 33 34 static int my_map(struct file *filp, struct vm_area_struct *vma)35 {    36     unsigned long page;37     unsigned char i;38     unsigned long start = (unsigned long)vma->vm_start;39     //unsigned long end =  (unsigned long)vma->vm_end;40     unsigned long size = (unsigned long)(vma->vm_end - vma->vm_start);41 42     //得到物理地址43     page = virt_to_phys(buffer);    44     //将用户空间的一个vma虚拟内存区映射到以page开始的一段连续物理页面上45     if(remap_pfn_range(vma,start,page>>PAGE_SHIFT,size,PAGE_SHARED))//第三个参数是页帧号，由物理地址右移PAGE_SHIFT得到46         return -1;47 48     //往该内存写10字节数据49     for(i=0;i<10;i++)50         buffer[i] = array[i];51     52     return 0;53 }54 55 56 static struct file_operations dev_fops = {57     .owner    = THIS_MODULE,58     .open    = my_open,59     .mmap   = my_map,60 };61 62 static struct miscdevice misc = {63     .minor = MISC_DYNAMIC_MINOR,64     .name = DEVICE_NAME,65     .fops = &dev_fops,66 };67 68 69 static int __init dev_init(void)70 {71     int ret;    72 73     //注册混杂设备74     ret = misc_register(&misc);75     //内存分配76     buffer = (unsigned char *)kmalloc(PAGE_SIZE,GFP_KERNEL);77     //将该段内存设置为保留78     SetPageReserved(virt_to_page(buffer));79 80     return ret;81 }82 83 84 static void __exit dev_exit(void)85 {86     //注销设备87     misc_deregister(&misc);88     //清除保留89     ClearPageReserved(virt_to_page(buffer));90     //释放内存91     kfree(buffer);92 }93 94 95 module_init(dev_init);96 module_exit(dev_exit);97 MODULE_LICENSE("GPL");98 MODULE_AUTHOR("LKN@SCUT");

应用程序：

 1 #include <unistd.h> 2 #include <stdio.h> 3 #include <stdlib.h> 4 #include <string.h> 5 #include <fcntl.h> 6 #include <linux/fb.h> 7 #include <sys/mman.h> 8 #include <sys/ioctl.h>  9 10 #define PAGE_SIZE 409611 12 13 int main(int argc , char *argv[])14 {15     int fd;16     int i;17     unsigned char *p_map;18     19     //打开设备20     fd = open("/dev/mymap",O_RDWR);21     if(fd < 0)22     {23         printf("open fail\n");24         exit(1);25     }26 27     //内存映射28     p_map = (unsigned char *)mmap(0, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED,fd, 0);29     if(p_map == MAP_FAILED)30     {31         printf("mmap fail\n");32         goto here;33     }34 35     //打印映射后的内存中的前10个字节内容36     for(i=0;i<10;i++)37         printf("%d\n",p_map[i]);38     39 40 here:41     munmap(p_map, PAGE_SIZE);42     return 0;43 }

先加载驱动后执行应用程序，用户空间打印如下：