完成端口模型

一个非常好的简单的完成端口的例子

http://b.qjwm.com/down.aspx?down=ok&filepath=dante300%2f%cd%f8%c2%e7%2fCompletion+Port.rar

 

文章出处：飞诺网(www.firnow.com):http://dev.firnow.com/course/3_program/c++/cppjs/20090403/163807.html

 

完成端口模型
“完成端口”模型是迄今为止最为复杂的一种I/O模型。然而，假若一个应用程序同时需要管理为数众多的套接字，那么采用这种模型，往往可以达到最佳的系统性能！但不幸的是，该模型只适用于Windows NT和Windows 2000操作系统。因其设计的复杂性，只有在你的应用程序需要同时管理数百乃至上千个套接字的时候，而且希望随着系统内安装的CPU数量的增多，应用程序的性能也可以线性提升，才应考虑采用“完成端口”模型。要记住的一个基本准则是，假如要为Windows NT或Windows 2000开发高性能的服务器应用，同时希望为大量套接字I/O请求提供服务（Web服务器便是这方面的典型例子），那么I/O完成端口模型便是最佳选择！（节选自《Windows网络编程》第八章）
完成端口模型是我最喜爱的一种模型。虽然其实现比较复杂（其实我觉得它的实现比用事件通知实现的重叠I/O简单多了），但其效率是惊人的。我在T公司的时候曾经帮同事写过一个邮件服务器的性能测试程序，用的就是完成端口模型。结果表明，完成端口模型在多连接（成千上万）的情况下，仅仅依靠一两个辅助线程，就可以达到非常高的吞吐量。下面我还是从代码说起：

服务器端代码

// CompletionPort.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <WINSOCK2.H>
#include <stdio.h>

#define PORT    5150
#define MSGSIZE 1024

#pragma comment(lib, "ws2_32.lib")

typedef enum
{
 RECV_POSTED
}OPERATION_TYPE;

typedef struct
{
 WSAOVERLAPPED  overlap;
 WSABUF         Buffer;
 char           szMessage[MSGSIZE];
 DWORD          NumberOfBytesRecvd;
 DWORD          Flags;
 OPERATION_TYPE OperationType;
}PER_IO_OPERATION_DATA, *LPPER_IO_OPERATION_DATA;

DWORD WINAPI WorkerThread(LPVOID);

int _tmain(int argc, _TCHAR* argv[])
{
 WSADATA                 wsaData;
 SOCKET                  sListen, sClient;
 SOCKADDR_IN             local, client;
 DWORD                   i, dwThreadId;
 int                     iaddrSize = sizeof(SOCKADDR_IN);
 HANDLE                  CompletionPort = INVALID_HANDLE_VALUE;
 SYSTEM_INFO             systeminfo;
 LPPER_IO_OPERATION_DATA lpPerIOData = NULL;

 // Initialize Windows Socket library
 WSAStartup(0x0202, &wsaData);

 // Create completion port
 CompletionPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);

 // Create worker thread
 GetSystemInfo(&systeminfo);
 for (i = 0; i < systeminfo.dwNumberOfProcessors; i++)
 {
  CreateThread(NULL, 0, WorkerThread, CompletionPort, 0, &dwThreadId);
 }

 // Create listening socket
 sListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

 // Bind
 local.sin_addr.S_un.S_addr = htonl(INADDR_ANY);
 local.sin_family = AF_INET;
 local.sin_port = htons(PORT);
 bind(sListen, (struct sockaddr *)&local, sizeof(SOCKADDR_IN));

 // Listen
 listen(sListen, 3);

 while (TRUE)
 {
  // Accept a connection
  sClient = accept(sListen, (struct sockaddr *)&client, &iaddrSize);
  printf("Accepted client:%s:%d/n", inet_ntoa(client.sin_addr), ntohs(client.sin_port));

  // Associate the newly arrived client socket with completion port
  CreateIoCompletionPort((HANDLE)sClient, CompletionPort, (DWORD)sClient, 0);

  // Launch an asynchronous operation for new arrived connection
  lpPerIOData = (LPPER_IO_OPERATION_DATA)HeapAlloc(
   GetProcessHeap(),
   HEAP_ZERO_MEMORY,
   sizeof(PER_IO_OPERATION_DATA));
  lpPerIOData->Buffer.len = MSGSIZE;
  lpPerIOData->Buffer.buf = lpPerIOData->szMessage;
  lpPerIOData->OperationType = RECV_POSTED;
  WSARecv(sClient,
   &lpPerIOData->Buffer,
   1,
   &lpPerIOData->NumberOfBytesRecvd,
   &lpPerIOData->Flags,
   &lpPerIOData->overlap,
   NULL);
 }

 PostQueuedCompletionStatus(CompletionPort, 0xFFFFFFFF, 0, NULL);
 CloseHandle(CompletionPort);
 closesocket(sListen);
 WSACleanup();
 return 0;
}
DWORD WINAPI WorkerThread(LPVOID CompletionPortID)
{
 HANDLE                  CompletionPort=(HANDLE)CompletionPortID;
 DWORD                   dwBytesTransferred;
 SOCKET                  sClient;
 LPPER_IO_OPERATION_DATA lpPerIOData = NULL;

 while (TRUE)
 {
  printf("WorkerThread---1/n");
  GetQueuedCompletionStatus(
   CompletionPort,
   &dwBytesTransferred,
   (LPDWORD)&sClient,
   (LPOVERLAPPED *)&lpPerIOData,
   INFINITE);
  if (dwBytesTransferred == 0xFFFFFFFF)
  {
   return 0;
  }

  if (lpPerIOData->OperationType == RECV_POSTED)
  {
   if (dwBytesTransferred == 0)
   {
    // Connection was closed by client
    closesocket(sClient);
    HeapFree(GetProcessHeap(), 0, lpPerIOData);       
   }
   else
   {
    lpPerIOData->szMessage[dwBytesTransferred] = '/0';
    //send(sClient, lpPerIOData->szMessage, dwBytesTransferred, 0);
    send(sClient, "I am completion port", sizeof("I am completion port"), 0);
    // Launch another asynchronous operation for sClient
    memset(lpPerIOData, 0, sizeof(PER_IO_OPERATION_DATA));
    lpPerIOData->Buffer.len = MSGSIZE;
    lpPerIOData->Buffer.buf = lpPerIOData->szMessage;
    lpPerIOData->OperationType = RECV_POSTED;
    WSARecv(sClient,
     &lpPerIOData->Buffer,
     1,
     &lpPerIOData->NumberOfBytesRecvd,
     &lpPerIOData->Flags,
     &lpPerIOData->overlap,
     NULL);
   }
  }
 }
 return 0;
}

首先，说说主线程：
1.创建完成端口对象
2.创建工作者线程（这里工作者线程的数量是按照CPU的个数来决定的，这样可以达到最佳性能）
3.创建监听套接字，绑定，监听，然后程序进入循环
4.在循环中，我做了以下几件事情：
(1).接受一个客户端连接
(2).将该客户端套接字与完成端口绑定到一起(还是调用CreateIoCompletionPort，但这次的作用不同)，注意，按道理来讲，此时传递给CreateIoCompletionPort的第三个参数应该是一个完成键，一般来讲，程序都是传递一个单句柄数据结构的地址，该单句柄数据包含了和该客户端连接有关的信息，由于我们只关心套接字句柄，所以直接将套接字句柄作为完成键传递；
(3).触发一个WSARecv异步调用，这次又用到了“尾随数据”，使接收数据所用的缓冲区紧跟在WSAOVERLAPPED对象之后，此外，还有操作类型等重要信息。

在工作者线程的循环中，我们
1.调用GetQueuedCompletionStatus取得本次I/O的相关信息（例如套接字句柄、传送的字节数、单I/O数据结构的地址等等）
2.通过单I/O数据结构找到接收数据缓冲区，然后将数据原封不动的发送到客户端
3.再次触发一个WSARecv异步操作

测试客户端代码

// tcpclient.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <WINSOCK2.H>
#include <stdio.h>
#include <conio.h>
#pragma comment(lib,"ws2_32.lib")
void main()
{
 int err;
 WORD versionRequired;
 WSADATA wsaData;
 versionRequired=MAKEWORD(1,1);
 err=WSAStartup(versionRequired,&wsaData);//协议库的版本信息
 if (!err)
 {
  printf("客户端嵌套字已经打开!/n");
 }
 else
 {
  printf("客户端的嵌套字打开失败!/n");
  return;//结束
 }
 SOCKET clientSocket=socket(AF_INET,SOCK_STREAM,0);
 SOCKADDR_IN clientsock_in;
 clientsock_in.sin_addr.S_un.S_addr=inet_addr("127.0.0.1");
 clientsock_in.sin_family=AF_INET;
 clientsock_in.sin_port=htons(5150);
 //bind(clientSocket,(SOCKADDR*)&clientsock_in,strlen(SOCKADDR));//注意第三个参数
 //listen(clientSocket,5);
 for (int i = 0; i < 10; i++){
  connect(clientSocket,(SOCKADDR*)&clientsock_in,sizeof(SOCKADDR));//开始连接
  send(clientSocket,"hello,this is client",strlen("hello,this is client")+1,0);
  char receiveBuf[100];
  memset(receiveBuf,0,sizeof(receiveBuf));
  int nRcv = recv(clientSocket,receiveBuf,101,0);
  if (nRcv > 0){
   printf("%s/n",receiveBuf);
  }
  closesocket(clientSocket);
 }
 WSACleanup();
 getch();
}