c++网络编程

C++开发高性能网络程序(ACE)

[本文发表于《程序员》杂志 2003年第12期，作者孟岩]基于TCP/IP的编程格外重要。从应用上来说，现在直接利用C层次Socket API进行TCP/IP编程的人确实越来越少了，各种现成的框架（如ACE、Java、.NET FCL）和控件（如IP*Works）大大简化了TCP/IP编程的难度。高层的框架和控件总结了TCP/IP的主要使用模式，并且进行了抽象和封装，这固然非常好，但是想要真正掌握TCP/IP网络编程的真谛，恐怕需要认真学习下面几本著作。
[ 查看本指南所提及的书籍 ]
[本文发表于《程序员》杂志2003年第12期，作者孟岩]
TCP/IP 协议是当前广域网和局域网通用的网络协议，因此，基于TCP/IP的编程就格外重要。从应用上来说，现在直接利用C层次Socket API进行TCP/IP编程的人确实越来越少了，各种现成的框架（如ACE、Java、.NET FCL）和控件（如IP*Works）大大简化了TCP/IP编程的难度。但是，如果想要在这个领域达到融会贯通的地步，不打下坚实的基础是不可想象的。正如Richard Stevens在TCP/IP Illustrated中所说，在网络编程领域，开发者所遇到的实际问题中，大约有90%都与开发者对于TCP/IP的理解相关。高层的框架和控件总结了 TCP/IP的主要使用模式，并且进行了抽象和封装，这固然非常好，但是想要真正掌握TCP/IP网络编程的真谛，恐怕需要认真学习下面几本著作。

1.Richard Stevens，TCP/IP Illustrated, Vol.1 / Vol.2 / Vol.3
《 TCP/IP详解(第一卷)协议 》《 TCP/IP详解 卷2：实现 》《 TCP/IP详解 卷3：TCP事务协议、HTTP、NNTP和UNIX域协议 》
《 TCP/IP详解卷1:协议（英文版） 》《 TCP/IP详解卷2：实现（英文版） 》《 TCP/IP详解卷3：TCP事务协议、HTTP、NNTP和UNIX域协议（英文版） 》
这是一本众望所归的书。自从1994年出版以来，TCP/IP Illustrated就一直是TCP/IP领域具有传奇色彩的圣经级著作。这一套著作共分为三卷，第一卷通过实际动手实验的方式深入探讨TCP/IP协议，第二卷逐行解释了4.4BSD系统TCP/IP协议栈的15,000行实现代码，第三卷探讨了T/TCP和HTTP等高级协议。整套书最大的特点就是贴近实战，完全符合程序员的胃口，不空谈，不说教，用实验和代码来说明问题。写作这样的书，对于作者要求非常之高，即使在今天看来，敢于这么写作的作者也是凤毛麟角。Richard Stevens以他的写作风格和作品，在TCP/IP编程领域竖立起一座丰碑，令其他作者高山仰止，心向往之。在下文将要提到的Effective TCP/IP Programming一书中，甚至把“读Stevens的书”专门列为一个条款。这套著作的地位，可见一斑。

学习这套书，与其说需要读，不如说需要做。Stevens最强调程序员的两项能力，一是读代码，二是动手实验。他在自己所有的书里都敦促读者将范例输入电脑，亲自编译、运行和调试。这当然需要花费大量的时间和精力，但是如果有读者能够扎扎实实地这么做，那么他所付出的每一分钟都将会有双倍的回报。

2.Richard Stevens, UNIX Network Programming, 2/e, Vol.1 / Vol.2
《 UNIX网络编程卷2:进程间通信（影印版·第2版） 》《 UNIX网络编程（第2版）第1卷：套接口API和X/Open传输接口API 》
又是Richard Stevens，又是经典名著。这本书的第一版问世于1990年，是Stevens的开山之作，一举奠定了Stevens在网络编程领域的重要地位。如果说TCP/IP Illustrated解答了“什么是TCP/IP”和“TCP/IP是怎么实现的”两个问题，那么这本书则是在回答“怎样运用TCP/IP开发网络应用程序”的问题。显而易见，这本书的内容更加贴近普通程序员，因此，大多数人是先学习UNP，然后再深入学习TCP/IP Illustrated。

这也是一本让人伤感的书，Richard Stevens从1997年开始撰写此书第二版，制定了一个宏大的计划，卷1阐述Socket API和TLI API，卷2阐述除Socket之外的其他IPC机制，卷3阐述网络编程应用。应该说，卷1和卷2都是为了给卷3打基础。然而天妒英才，就在世人翘首企盼第三卷的时候，1999年9月1日，Richard Stevens英年早逝。留下这套未完成的巨著，让人感慨不已。不过最近从Prentice Hall传来好消息，出版社已经找到合适的作者，重新修订这套经典巨著，其中第一卷即将问世，并且已经在Amazon上热卖。相信会有当世高人沿着 Stevens的足迹给我们续写第三卷的，让我们拭目以待。

可选图书：Douglas E. Comer, Internetworking with TCP/IP, Vol.1 / Vol.2 / Vol.3
《 用TCP/IP进行网际互联第一卷：原理、协议与结构（第四版） 》《 用TCP/IP进行网际互联-第二卷：设计、实现与内核（第三版） 》《 用TCP/IP进行网际互联 第三卷：客户-服务器编程与应用（Linux/POSIX套接字版） 》
这套书也是三卷，前两卷内容与TCP/IP Illustrated相似，最后一卷则偏重应用程序的开发。总体上来看，这三卷书的内容与上述Stevens的两套著作相当。Comer教授的这套书定位是教材，因此写出来中规中矩，寓精彩于平和之中。读者如果喜欢阅读教材风格的书，这套应该是很好的选择。

3.Jon C. Snader, Effective TCP/IP Programming
（中文版《 高级TCP/IP编程 》，中国电力出版社）
自彻读Effective C++之后，我总结出一条经验。无论在哪个领域中，一旦掌握基础知识，则应该迅速去寻找该领域中一本名为“Effective XXX”的著作并阅读之，一定可取得事半功倍的效果。Effective C++如此，Effective STL如此，Effective Java如此，这本Effective TCP/IP同样如此，也是一剂功效强大的催化剂。

本书作者是经验丰富的TCP/IP程序员，他在这本书中总结了44个难得的TCP/IP开发经验，并且将每条经验背后的道理都详细地讲解。毫无疑问，这种“专家经验”型著作对于提高读者水平，能够起到最高效、最直接的作用。

初学TCP/IP的朋友可能觉得，自己应该先把基本知识熟练掌握，再看这本书，效果会更好。我认为不必如此，您可以在基本观念建立起来之后直接品读此书。这本书篇幅不大，起点不高，却对很多关键问题进行了全面而细致地介绍，在具体问题的阐述上颇有Richard Stevens之风，也是纯而又纯的程序员风格——拿代码说话。

系统学习和重点难点的突破相结合，历来是快速掌握一门技术的良方。由Scott Meyers开创的“Effective”之风，已有愈演愈烈之势，这是程序员们的巨大福音。我强烈建议大家，不要放过任何一本以“Effective”为名的技术书籍。

4. Douglas Schmidt, Steven Huston，C++ Network Programming, Vol.1 / Vol.2 （中文版将分别由华中科技大学出版社和电子工业出版社出版）
《 C++网络编程 卷1：运用ACE和模式消除复杂性 》《 C++网络编程,卷2 基于ACE和框架的系统化复用 》ACE介绍
今天的网络编程环境是建立在C的基础之上。如果你满足于C层次的TCP/IP编程，那么Stevens的书可以说达到了一个最高境界，你大可以登东山而小鲁。但是如果再上一个层次，考虑如何运用C++强大的抽象机制是网络编程变得更加富于艺术性，更加高效可靠，那么恐怕必须要高度重视这套书。

这套书共两卷，篇幅都不大，主要内容是介绍ACE。在C++领域，由于这套书被Bjarne Stroustrup编入C++ In Depth系列，因此具有崇高的地位。而在网络编程领域，也有人称赞此书为Stevens之后最重要的网络编程著作。作者Douglas Schmidt是C++、网络程序设计和模式领域中国际公认的权威专家，潜心研究C++网络编程已经十多年。他发起的ACE开源项目是目前当之无愧的最优秀和最成功的C++网络编程环境，不仅具有非常出色的可移植性，而且性能卓越。美国国防部的ARPA已经支持这个项目好几年了，其最终目的是在ACE的基础上建立可用于现代战争的分布式实时嵌入式系统。毫无疑问，ACE无论在理论上还是在实践中，都是最值得程序员关注的网络编程典范项目，而这一套两卷对 ACE的介绍性书籍，也毫无疑问是最值得网络程序员品读分析的经典。学习这两本书，你可以将经典的基于C API的网络编程知识与现代面向对象、模式和框架等最新技术思想结合起来，从而使你对网络编程的认识上升到一个新的高度。

---

 

关于ACE的详细信息，可以查阅《程序员》2003年12期的ACE专题。本文得到《C++网络编程》两卷的译者马维达、於春景先生的大力支持，在此表示感谢！
[ 查看本指南所提及的书籍 ]
ACE是什么？
　　ACE自适配通信环境（ADAPTIVE Communication Environment）是可以自由使用、开放源码的面向对象（OO）框架（Framework），在其中实现了许多用于并发通信软件的核心模式。ACE 提供了一组丰富的可复用C++ Wrapper Facade（包装外观）和框架组件，可跨越多种平台完成通用的通信软件任务，其中包括：事件多路分离和事件处理器分派、信号处理、服务初始化、进程间通信、共享内存管理、消息路由、分布式服务动态（重）配置、并发执行和同步，等等。
    ACE的目标用户是高性能和实时通信服务和应用的开发者。它简化了使用进程间通信、事件多路分离、显式动态链接和并发的OO网络应用和服务的开发。此外，通过服务在运行时与应用的动态链接，ACE还使系统的配置和重配置得以自动化。

使用ACE的好处
●增强可移植性：在ACE组件的帮助下，很容易在一种OS平台上编写并发网络应用，然后快速地将它们移植到各种其他的OS平台上。而且，因为ACE是开放源码的自由软件，你无需担心被锁定在特定的操作系统平台或编译器上。
●更好的软件质量：ACE的设计使用了许多可提高软件质量的关键模式，这些质量因素包括通信软件灵活性、可扩展性、可复用性和模块性。
●更高的效率和可预测性：ACE经仔细设计，支持广泛的应用服务质量（QoS）需求，包括延迟敏感应用的低响应等待时间、高带宽应用的高性能，以及实时应用的可预测性。
●更容易转换到标准的高级中间件：TAO使用了ACE提供的可复用组件和模式。它是CORBA的开发源码、遵循标准的实现，并为高性能和实时系统作了优化。为此，ACE和TAO被设计为能良好地协同工作，以提供全面的中间件解决方案。

好书介绍
★★★★★《 C++网络编程 卷1：运用ACE和模式消除复杂性 》
Douglas C. Schmidt, Stephen D. Huston 著， 於春景 译
华中科技大学出版社  出版时间：2004年1月
     《C++网络编程》以一则概论开篇，介绍了撰写分布式并发应用程序时涉及的议题和工具。然后，针对开发灵活、高效的并发式网络应用程序的需要，本书提供了重要的设计空间、模式和原则。本书作者从专家角度向你展示，在运用C++和模式有效地开发面向对象网络应用时，应当如何提高你的设计技能。
    有了这本书，C++开发者就有了一套最完整的、可以自如运用的工具包，从而能够方便、高效地开发成功的、多平台、并发式网络应用程序。
於春景先生个人主页及本书勘误      本书影印版

★★★★★《 C++网络编程,卷2 基于ACE和框架的系统化复用 》
Douglas C.Schmidt, Stephen D.Huston 著， 马维达 译
电子工业出版社  出版时间：2003年12月
     本书内容涵盖ACE中的各主要框架的基础概念、模式及使用规则。本书将向你描述这些框架的设计，以及它们可怎样帮助你克服较低级的本地操作系统API与较高级的分布式计算中间的各种局限，高效地开发出高质量、可移植的C++网络化应用。本书是继受到了高度赞誉的POSA2(Pattern- Oriented Software Architecture:Patterns for Concurrent and Networked Objects) 之后，Douglas C.Schmidt撰写的又一著作，通过学习本书，你将能更了解和掌握适用于网络化应用开发的各种设计模式。
马维达先生个人主页及本书勘误       本书影印版

孟岩推荐
   这套书共两卷，篇幅都不大，主要内容是介绍ACE。在C++领域，由于这套书被Bjarne Stroustrup编入C++ In Depth系列，因此具有崇高的地位。而在网络编程领域，也有人称赞此书为Stevens之后最重要的网络编程著作。作者Douglas Schmidt是C++、网络程序设计和模式领域中国际公认的权威专家，潜心研究C++网络编程已经十多年。他发起的ACE开源项目是目前当之无愧的最优秀和最成功的C++网络编程环境，不仅具有非常出色的可移植性，而且性能卓越。美国国防部的ARPA已经支持这个项目好几年了，其最终目的是在ACE的基础上建立可用于现代战争的分布式实时嵌入式系统。毫无疑问，ACE无论在理论上还是在实践中，都是最值得程序员关注的网络编程典范项目，而这一套两卷对 ACE的介绍性书籍，也毫无疑问是最值得网络程序员品读分析的经典。学习这两本书，你可以将经典的基于C API的网络编程知识与现代面向对象、模式和框架等最新技术思想结合起来，从而使你对网络编程的认识上升到一个新的高度。
附孟岩：《网络编程之四书五经》

关于ACE的更多中文信息可访问马维达先生的ACE站点
点击此浏览ACE的主页，在这里可免费获得最新版本的ACE以及其他相关资源。
http://www.flyingdonkey.com/

 

---

ACE自适配通信环境

  Douglas C. Schmidt

一、ACE综述

　　ACE自适配通信环境（ADAPTIVE Communication Environment）是可以自由使用、开放源码的面向对象（OO）框架（Framework），在其中实现了许多用于并发通信软件的核心模式。ACE提供了一组丰富的可复用C++ Wrapper Facade（包装外观）和框架组件，可跨越多种平台完成通用的通信软件任务，其中包括：事件多路分离和事件处理器分派、信号处理、服务初始化、进程间通信、共享内存管理、消息路由、分布式服务动态（重）配置、并发执行和同步，等等。

ACE的目标用户是高性能和实时通信服务和应用的开发者。它简化了使用进程间通信、事件多路分离、显式动态链接和并发的OO网络应用和服务的开发。此外，通过服务在运行时与应用的动态链接，ACE还使系统的配置和重配置得以自动化。

ACE正在进行持续的改进。Riverace公司（http://www.riverace.com）采用开放源码商业模式对ACE进行商业支持。此外，ACE开发组的许多成员目前正在进行The ACE ORB（TAO，http://www.cs.wustl.edu/~schmidt/TAO.html）的开发工作。

二、使用ACE的好处

使用ACE的好处有：

l       增强可移植性：在ACE组件的帮助下，很容易在一种OS平台上编写并发网络应用，然后快速地将它们移植到各种其他的OS平台上。而且，因为ACE是开放源码的自由软件，你无需担心被锁定在特定的操作系统平台或编译器上。

l       更好的软件质量：ACE的设计使用了许多可提高软件质量的关键模式，这些质量因素包括通信软件灵活性、可扩展性、可复用性和模块性。

l       更高的效率和可预测性：ACE经仔细设计，支持广泛的应用服务质量（QoS）需求，包括延迟敏感应用的低响应等待时间、高带宽应用的高性能，以及实时应用的可预测性。

l       更容易转换到标准的高级中间件：TAO使用了ACE提供的可复用组件和模式。它是CORBA的开发源码、遵循标准的实现，并为高性能和实时系统作了优化。为此，ACE和TAO被设计为能良好地协同工作，以提供全面的中间件解决方案。

三、ACE的结构和功能

下图显示了ACE中的关键组件以及它们的层次关系：



图中的结构和各层的组成部分描述如下。

四、ACE OS适配层

该层直接位于用C写成的本地OS API之上。它提供轻型的类POSIX OS适配层，将ACE中的其他层及组件和以下与OS API相关联的平台专有特性屏蔽开来：

l       并发和同步：ACE的适配层封装了用于多线程、多进程和同步的OS API。

l       进程间通信（IPC）和共享内存：ACE的适配层封装了用于本地和远地IPC、以及共享内存的OS API。

l       事件多路分离机制：ACE的适配层封装了用于对基于I/O、定时器、信号和同步的事件进行同步和异步多路分离的OS API。

l       显式动态链接：ACE的适配层封装了用于显式动态链接的OS API。显式动态链接允许在安装时或运行时对应用服务进行配置。

l       文件系统机制：ACE的适配层封装了用于操作文件和目录的OS文件系统API。

ACE OS适配层的可移植性使得ACE可运行在许多操作系统上。ACE已在广泛的OS平台上进行了移植和测试，包括Win32（也就是，在Intel和Alpha平台，使用MSVC++、Borland C++ Builder和IBM Visual Age的WinNT 3.5.x、4.x、2000、Win95/98和WinCE）、Mac OS X、大多数版本的UNIX（例如，SPARC和Intel上的Solaris 1.x和2.x、SGI IRIX 5.x和6.x、DG/UX、HP-UX 9.x、10.x和11.x、DEC/Compaq UNIX 3.x和4.x、AIX 3.x和4.x、UnixWare、SCO，以及可自由使用的UNIX实现，比如Debian Linux 2.x、RedHat Linux 5.2、6.x和7.x、FreeBSD和NetBSD）、实时操作系统（比如，LynxOS、VxWorks、Chorus ClassiX 4.0、QnX Neutrino、RTEMS和PSoS）、MVS OpenEdition和CRAY UNICOS。

由于ACE的OS适配层所提供的抽象，所有这些平台使用同一棵代码树。这样的设计极大地增强了ACE的可移植性和可维护性。此外，还有Java版本的ACE可用（http://www.cs.wustl.edu/~eea1/JACE.html）。

五、OS接口的C++ Wrapper Facade

可以直接在ACE OS适配层之上编写高度可移植的C++应用。但是，大多数ACE开发者使用的是上图中所示的C++ Wrapper Facade层。通过提供类型安全的C++接口（这些接口封装并增强本地的OS并发、通信、内存管理、事件多路分离、动态链接和文件系统API），ACE Wrapper Facade简化了应用的开发。应用可以通过有选择地继承、聚合和/或实例化下面的组件来组合和使用这些包装：

l       并发和同步组件：ACE对像互斥体和信号量这样的本地OS多线程和多进程机制进行抽象，以创建高级的OO并发抽象，像主动对象（Active Object）和多态期货（Polymorphic Future）。

l       IPC和文件系统组件：ACE C++包装对本地和/或远地IPC机制进行封装，比如socket、TLI、UNIX FIFO和STREAM管道，以及Win32命名管道。此外，ACE C++包装还封装了OS文件系统API。

l       内存管理组件：ACE内存管理组件为管理进程间共享内存和进程内堆内存的动态分配和释放提供了灵活和可扩展的抽象。

ACE C++包装提供了许多与ACE OS适配层一样的特性。但是，这些特性是采用C++类和对象、而不是独立的C函数来构造的。这样的OO包装有助于减少正确地学习和使用ACE所需的努力。

例如，C++的使用提高了应用的健壮性，因为C++包装是强类型的。所以，编译器可在编译时、而不是运行时检测类型系统违例。相反，不到运行时，不可能检测像socket或文件系统I/O这样的C一级OS API的类型系统违例。

ACE采用了许多技术来降低或消除额外的性能开销。例如，ACE大量地使用C++内联来消除额外的方法调用开销；这样的开销可由OS适配层和C++包装所提供的额外的类型安全和抽象层次带来。此外，对于性能要求很高的包装，比如socket和文件I/O的send/recv方法，ACE会避免使用虚函数。

六、框架

ACE还含有一个高级的网络编程框架，集成并增强了较低层次的C++ Wrapper Facade。该框架支持将并发分布式服务动态配置进应用。ACE的框架部分包含以下组件：

l       事件多路分离组件：ACE Reactor(反应器)和Proactor（前摄器）是可扩展的面向对象多路分离器，它们分派应用特有的处理器，以响应多种类型的基于I/O、定时器、信号和同步的事件。

l       服务初始化组件：ACE Acceptor（接受器）和Connector（连接器）组件分别使主动和被动的初始化任务与初始化一旦完成后通信服务所执行的应用特有的任务去耦合。

l       服务配置组件：ACE Service Configurator（服务配置器）支持应用的配置，这些应用的服务可在安装时和/或运行时动态装配。

l       分层的流组件：ACE Stream组件简化了像用户级协议栈这样的由分层服务组成的通信软件应用的开发。

l       ORB适配器组件：通过ORB适配器，ACE可以与单线程和多线程CORBA实现进行无缝集成。

ACE框架组件便利了通信软件的开发，它们无需修改、重编译、重链接，或频繁地重启运行中的应用，就可被更新和扩展。在ACE中，这样的灵活性是通过结合以下要素来获得的：（1）C++语言特性，比如模板、继承和动态绑定，（2）设计模式，比如抽象工厂、策略和服务配置器，以及（3）OS机制，比如显式动态链接和多线程。

七、分布式服务和组件

除了OS适配层、C++ Wrapper Facade和框架组件，ACE还提供了包装成自包含组件的标准分布式服务库。尽管这些服务组件并不是ACE框架库的严格组成部分，它们在ACE中扮演了两种角色：

1.       分解出可复用分布式应用的“积木”：这些服务组件提供通用的分布式应用任务的可复用实现，比如名字服务、事件路由、日志、时间同步和网络锁定。

2.       演示ACE组件的常见用例：这些分布式服务还演示了怎样用像Reactor、Service Configurator、Acceptor和Connector、Active Object，以及IPC包装这样的ACE组件来有效地开发灵活、高效和可靠的通信软件。

八、高级分布式计算中间件组件

即使使用像ACE这样的通信框架，开发健壮、可扩展和高效的通信应用仍富有挑战性。特别是，开发者必须掌握许多复杂的OS和通信的概念，比如：

l       网络寻址和服务标识。

l       表示转换，比如加密、压缩和在异种终端系统间的字节序转换。

l       进程和线程的创建和同步。

l       本地和远地进程间通信（IPC）机制的系统调用和库例程。

通过采用像CORBA、DCOM或Java RMI这样的高级分布式计算中间件，可以降低开发通信应用的复杂性。高级分布式计算中间件驻留在客户端和服务器之间，可自动完成分布式应用开发的许多麻烦而易错的方面，包括：

l       认证、授权和数据安全。

l       服务定位和绑定。

l       服务注册和启用。

l       事件多路分离和分派。

l       在像TCP这样的面向字节流的通信协议之上实现消息帧。

l       涉及网络字节序和参数整编（marshaling）的表示转换问题。

为给通信软件的开发者提供这些特性，在ACE中绑定了下面的高级中间件应用：

1.       The ACE ORB（TAO）：TAO是使用ACE提供的框架组件和模式构建的CORBA实时实现，包含有网络接口、OS、通信协议和CORBA中间件组件等特性。TAO基于标准的OMG CORBA参考模型，并进行了增强的设计，以克服传统的用于高性能和实时应用的ORB的缺点。TAO像ACE一样，也是可自由使用的开放源码软件。

2.       JAWS：JAWS是高性能、自适配的Web服务器，使用ACE提供的框架组件和模式构建。JAWS被构造成“框架的框架”。JAWS的总体框架含有以下组件和框架：事件多路分派器、并发策略、I/O策略、协议管道、协议处理器和缓存虚拟文件系统。每个框架都被构造成一组协作对象，通过组合和扩展ACE中的组件来实现。JAWS也是可自由使用的开放源码软件。

九、主页

ACE的主页为：http://www.cs.wustl.edu/~schmidt/ACE.html，在这里可获得最新版本的ACE以及其他相关资源。