IOCP模型总结

本文转自 http://hi.baidu.com/lateblue/blog/item/97161bde1186ef1a48540364.html

IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销比较大，所以造成了效率的低下。 

调用的步骤如下: 
抽象出一个完成端口大概的处理流程： 

1：创建一个完成端口。 

2：创建一个线程A。 

3：A线程循环调用GetQueuedCompletionStatus()函数来得到IO操作结果，这个函数是个阻塞函数。 

4：主线程循环里调用accept等待客户端连接上来。 

5：主线程里accept返回新连接建立以后，把这个新的套接字句柄用CreateIoCompletionPort关联到完成端口，然后发出一个异步的WSASend或者WSARecv调用，因为是异步函数，WSASend/WSARecv会马上返回，实际的发送或者接收数据的操作由WINDOWS系统去做。 

6：主线程继续下一次循环，阻塞在accept这里等待客户端连接。 

7：WINDOWS系统完成WSASend或者WSArecv的操作，把结果发到完成端口。 

8：A线程里的GetQueuedCompletionStatus()马上返回，并从完成端口取得刚完成的WSASend/WSARecv的结果。 

9：在A线程里对这些数据进行处理(如果处理过程很耗时，需要新开线程处理)，然后接着发出WSASend/WSARecv，并继续下一次循环阻塞在GetQueuedCompletionStatus()这里。 

归根到底概括完成端口模型一句话： 
我们不停地发出异步的WSASend/WSARecv IO操作，具体的IO处理过程由WINDOWS系统完成，WINDOWS系统完成实际的IO处理后，把结果送到完成端口上（如果有多个IO都完成了，那么就在完成端口那里排成一个队列）。我们在另外一个线程里从完成端口不断地取出IO操作结果，然后根据需要再发出WSASend/WSARecv IO操作。

 
而IOCP模型是事先开好了N个线程，存储在线程池中，让他们hold。然后将所有用户的请求都投递到一个完成端口上，然后N个工作线程逐一地从完成端口中取得用户消息并加以处理。这样就避免了为每个用户开一个线程。既减少了线程资源，又提高了线程的利用率。 

完成端口模型是怎样实现的呢？我们先创建一个完成端口（::CreateIoCompletioPort()）。然后再创建一个或多个工作线程，并指定他们到这个完成端口上去读取数据。我们再将远程连接的套接字句柄关联到这个完成端口（还是用::CreateIoCompletionPort()）。一切就OK了。 

工作线程都干些什么呢？首先是调用::GetQueuedCompletionStatus()函数在关联到这个完成端口上的所有套接字上等待I/O的完成。再判断完成了什么类型的I/O。一般来说，有三种类型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我们到数据缓冲区内读取数据后，再投递一个或是多个同类型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。对读取到的数据，我们可以按照自己的需要来进行相应的处理。 

为此，我们需要一个以OVERLAPPED（重叠I/O）结构为第一个字段的per-I/O数据自定义结构。 

typedef struct _PER_IO_DATA {          OVERLAPPED ol;       // 重叠I/O结构          char buf[BUFFER_SIZE];   // 数据缓冲区          int nOperationType;         //I/O操作类型 #define OP_READ 1 #define OP_WRITE 2 #define OP_ACCEPT 3 } PER_IO_DATA, *PPER_IO_DATA; 

将一个PER_IO_DATA结构强制转化成一个OVERLAPPED结构传给::GetQueuedCompletionStatus()函数，返回的这个PER_IO_DATA结构的的nOperationType就是I/O操作的类型。当然，这些类型都是在投递I/O请求时自己设置的。 

这样一个IOCP服务器的框架就出来了。当然，要做一个好的IOCP服务器，还有考虑很多问题，如内存资源管理、接受连接的方法、恶意的客户连接、包的重排序等等。以上是个人对于IOCP模型的一些理解与看法，还有待完善。另外各Winsock API的用法参见MSDN。 


补充IOCP模型的实现： 

//创建一个完成端口 HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 ); //接受远程连接，并把这个连接的socket句柄绑定到刚才创建的IOCP上 AConnect = accept( FListenSock, addr, len); CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 ); //创建CPU数*2 + 2个线程 SYSTEM_INFO si;GetSystemInfo(&si);for (int i=1;si.dwNumberOfProcessors*2+2;i++) {   AThread = TRecvSendThread.Create( false );    AThread.CompletPort = FCompletPort;//告诉这个线程，你要去这个IOCP去访问数据 } 

OK，就这么简单，我们要做的就是建立一个IOCP，把远程连接的socket句柄绑定到刚才创建的IOCP上，最后创建n个线程，并告诉这n个线程到这个IOCP上去访问数据就可以了。 

再看一下TRecvSendThread线程都干些什么： 

void TRecvSendThread.Execute(...){   while (!self.Terminated)    {     //查询IOCP状态（数据读写操作是否完成）      GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );      if (BytesTransd !=0) .......        ....;//数据读写操作完成      //再投递一个读数据请求      WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );    }} 

读写线程只是简单地检查IOCP是否完成了我们投递的读写操作，如果完成了则再投递一个新的读写请求。 
应该注意到，我们创建的所有TRecvSendThread都在访问同一个IOCP（因为我们只创建了一个IOCP），并且我们没有使用临界区！难道不会产生冲突吗？不用考虑同步问题吗？ 
呵呵，这正是IOCP的奥妙所在。IOCP不是一个普通的对象，不需要考虑线程安全问题。它会自动调配访问它的线程：如果某个socket上有一个线程A正在访问，那么线程B的访问请求会被分配到另外一个socket。这一切都是由系统自动调配的，我们无需过问。

实例:

简单实现，适合IOCP入门
参考：《WINDOWS网络与通信程序设计》

实例:简单实现，适合IOCP入门参考：《WINDOWS网络与通信程序设计》/****************************************************************** * * Copyright (c) 2008, xxxxx有限公司 * All rights reserved. * * 文件名称：IOCPHeader.h * 摘   要： IOCP定义文件 * * 当前版本：1.0 * 作    者：吴会然 * 完成日期：2008-9-16 * * 取代版本： * 原 作者： * 完成日期： * ******************************************************************/#ifndef _IOCPHEADER_H_20080916_ #define _IOCPHEADER_H_20080916_#include <WINSOCK2.H> #include <windows.h>#define BUFFER_SIZE 1024/****************************************************************** * per_handle 数据 *******************************************************************/ typedef struct _PER_HANDLE_DATA {     SOCKET      s;      // 对应的套接字句柄     sockaddr_in addr;   // 对方的地址}PER_HANDLE_DATA, *PPER_HANDLE_DATA;/****************************************************************** * per_io 数据 *******************************************************************/ typedef struct _PER_IO_DATA {     OVERLAPPED ol;                 // 重叠结构     char        buf[BUFFER_SIZE];   // 数据缓冲区     int         nOperationType;     // 操作类型#define OP_READ   1 #define OP_WRITE 2 #define OP_ACCEPT 3}PER_IO_DATA, *PPER_IO_DATA;#endif/****************************************************************** * * Copyright (c) 2008, xxxxx有限公司 * All rights reserved. * * 文件名称：main.cpp * 摘   要： iocp demo * * 当前版本：1.0 * 作    者：吴会然 * 完成日期：2008-9-16 * * 取代版本： * 原 作者： * 完成日期： * ******************************************************************/#include <iostream> #include <string> #include "IOCPHeader.h" using namespace std;DWORD WINAPI ServerThread( LPVOID lpParam );int main( int argc, char *argv[] ) {     //////////////////////////////////////////////////////////////////////////       WSADATA wsaData;    if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )     {         printf( "Using %s (Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus );         printf( "with API versions: %d.%d to %d.%d",                  LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),                  LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );        return -1;     }     else     {         printf("Windows sockets 2.2 startup\n");     }     //////////////////////////////////////////////////////////////////////////    int nPort = 20055;    // 创建完成端口对象     // 创建工作线程处理完成端口对象的事件     HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );     ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );    // 创建监听套接字，绑定本地端口，开始监听     SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );    SOCKADDR_IN addr;     addr.sin_family = AF_INET;     addr.sin_port = ::htons( nPort );     addr.sin_addr.S_un.S_addr = INADDR_ANY;     ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );     ::listen( sListen, 5 );    printf( "iocp demo start......\n" );    // 循环处理到来的请求     while ( TRUE )     {         // 等待接受未决的连接请求         SOCKADDR_IN saRemote;         int nRemoteLen = sizeof( saRemote );         SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );        // 接受到新连接之后，为它创建一个per_handle数据，并将他们关联到完成端口对象         PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );         if( pPerHandle == NULL )         {             break;         }        pPerHandle->s = sRemote;         memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );        ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );        // 投递一个接受请求         PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );         if( pIoData == NULL )         {             break;         }        pIoData->nOperationType = OP_READ;         WSABUF buf;         buf.buf = pIoData->buf;         buf.len = BUFFER_SIZE;                  DWORD dwRecv = 0;         DWORD dwFlags = 0;        ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );    }    ////////////////////////////////////////////////////////////////////////// ERROR_PROC:     WSACleanup();     //////////////////////////////////////////////////////////////////////////    return 0; }/****************************************************************** * 函数介绍：处理完成端口对象事件的线程 * 输入参数： * 输出参数： * 返回值 ： *******************************************************************/ DWORD WINAPI ServerThread( LPVOID lpParam ) {     HANDLE hIocp = ( HANDLE )lpParam;     if( hIocp == NULL )     {         return -1;     }    DWORD dwTrans = 0;     PPER_HANDLE_DATA pPerHandle;     PPER_IO_DATA     pPerIo;          while( TRUE )     {         // 在关联到此完成端口的所有套接字上等待I/O完成         BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );         if( !bRet )     // 发生错误         {             ::closesocket( pPerHandle->s );             ::GlobalFree( pPerHandle );             ::GlobalFree( pPerIo );            cout << "error" << endl;             continue;         }        // 套接字被对方关闭         if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;== OP_WRITE ) )         {             ::closesocket( pPerHandle->s );             ::GlobalFree( pPerHandle );             ::GlobalFree( pPerIo );            cout << "client closed" << endl;             continue;         }        switch ( pPerIo->nOperationType )         {         case OP_READ:       // 完成一个接收请求             {                 pPerIo->buf[dwTrans] = '\0';                 printf( "%s\n", pPerIo->buf );                // 继续投递接受操作                 WSABUF buf;                 buf.buf = pPerIo->buf;                 buf.len = BUFFER_SIZE;                 pPerIo->nOperationType = OP_READ;                                  DWORD dwRecv = 0;                 DWORD dwFlags = 0;                                  ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );            }             break;         case OP_WRITE:         case OP_ACCEPT:             break;        }    }    return 0; }

===========================================================================================

IOCP模型最小代码及梳理

本文转自 http://hi.baidu.com/linqingwu75/blog/item/12a2e6da26d3b16dd0164ec1.html

/******************************************************************** Copyright (c) 2008, xxxxx有限公司* All rights reserved.** 文件名称：IOCPHeader.h* 摘    要： IOCP定义文件** 当前版本：1.0* 作     者：吴会然* 完成日期：2008-9-16** 取代版本：* 原   作者：* 完成日期：*******************************************************************/ifndef _IOCPHEADER_H_20080916_define _IOCPHEADER_H_20080916_include <WINSOCK2.H>include <windows.h>define BUFFER_SIZE 1024/******************************************************************* per_handle 数据*******************************************************************/typedef struct _PER_HANDLE_DATA {     SOCKET       s;      // 对应的套接字句柄     sockaddr_in addr;   // 对方的地址    }PER_HANDLE_DATA, *PPER_HANDLE_DATA;/******************************************************************* per_io 数据*******************************************************************/typedef struct _PER_IO_DATA{     OVERLAPPED   ol;                 // 重叠结构    char         buf[BUFFER_SIZE];   // 数据缓冲区    int          nOperationType;     // 操作类型         define OP_READ   1         define OP_WRITE  2         define OP_ACCEPT 3        }PER_IO_DATA, *PPER_IO_DATA;endif/******************************************************************** Copyright (c) 2008, xxxxx有限公司* All rights reserved.** 文件名称：main.cpp* 摘    要： iocp demo ** 当前版本：1.0* 作     者：吴会然* 完成日期：2008-9-16** 取代版本：* 原   作者：* 完成日期：*******************************************************************/include <iostream>include <string>include "IOCPHeader.h"using namespace std;DWORD WINAPI ServerThread( LPVOID lpParam );int main( int argc, char *argv[] ){    //////////////////////////////////////////////////////////////////////////       WSADATA wsaData;        if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )     {         printf( "Using %s (Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus );         printf( "with API versions: %d.%d to %d.%d",              LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),             LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );                return -1;     }    else     {         printf("Windows sockets 2.2 startup\n");     }    //////////////////////////////////////////////////////////////////////////        int nPort = 20055;        // 创建完成端口对象    // 创建工作线程处理完成端口对象的事件     HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );     ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );        // 创建监听套接字，绑定本地端口，开始监听     SOCKET sListen = ::socket( AF_INET,         SOCK_STREAM, 0 );     SOCKADDR_IN addr;     addr.sin_family = AF_INET;     addr.sin_port = ::htons( nPort );     addr.sin_addr.S_un.S_addr = INADDR_ANY;     ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );     ::listen( sListen, 5 );         printf( "iocp demo start\n" );        // 循环处理到来的请求    while ( TRUE )     {        // 等待接受未决的连接请求         SOCKADDR_IN saRemote;        int nRemoteLen = sizeof( saRemote );         SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );                // 接受到新连接之后，为它创建一个per_handle数据，并将他们关联到完成端口对象         PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );        if( pPerHandle == NULL )         {            break;         }                 pPerHandle->s = sRemote;         memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );                 ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );                // 投递一个接受请求         PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );        if( pIoData == NULL )         {            break;         }                 pIoData->nOperationType = OP_READ;         WSABUF buf;         buf.buf = pIoData->buf;         buf.len = BUFFER_SIZE;                 DWORD dwRecv = 0;         DWORD dwFlags = 0;                 ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );             }        //////////////////////////////////////////////////////////////////////////ERROR_PROC:     WSACleanup();    //////////////////////////////////////////////////////////////////////////        return 0;}/******************************************************************* 函数介绍：处理完成端口对象事件的线程* 输入参数：* 输出参数：* 返回值   ：*******************************************************************/DWORD WINAPI ServerThread( LPVOID lpParam ){     HANDLE hIocp = ( HANDLE )lpParam;    if( hIocp == NULL )     {        return -1;     }         DWORD dwTrans = 0;     PPER_HANDLE_DATA pPerHandle;     PPER_IO_DATA      pPerIo;        while( TRUE )     {        // 在关联到此完成端口的所有套接字上等待I/O完成         BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );        if( !bRet )     // 发生错误         {             ::closesocket( pPerHandle->s );             ::GlobalFree( pPerHandle );             ::GlobalFree( pPerIo );                         cout << "error" << endl;            continue;         }                // 套接字被对方关闭        if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb   sp;== OP_WRITE ) )         {             ::closesocket( pPerHandle->s );             ::GlobalFree( pPerHandle );             ::GlobalFree( pPerIo );                         cout << "client closed" << endl;            continue;         }                switch ( pPerIo->nOperationType )         {        case OP_READ:       // 完成一个接收请求             {                 pPerIo->buf[dwTrans] = '\0';                 printf( "%s\n", pPerIo->buf );                                // 继续投递接受操作                 WSABUF buf;                 buf.buf = pPerIo->buf;                 buf.len = BUFFER_SIZE;                 pPerIo->nOperationType = OP_READ;                                 DWORD dwRecv = 0;                 DWORD dwFlags = 0;                                 ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );                             }            break;        case OP_WRITE:        case OP_ACCEPT:            break;                     }             }        return 0;}