live555简介

        liveMedia 项目(http://www.live555.com/)的源码包括四个基本的库、测试代码及Media Server。 四个基本库分别是：UsageEnvironment&TaskScheduler、groupsock、liveMedia、BasicUsageEnvironment。

    (1) UsageEnvironment 和TaskScheduler类，用于事件调度，实现异步读取事件的句柄的设置、错误信息输出。还有一个HashTable类，定义了一个通用的hash表。这些都是抽象类，在程序中实现自己的子类。

    (2) groupsock类，是对网络接口的封装，用于收发数据包。主要面向多播数据的收发，同时也支持单播数据的收发。

    (3) liveMedia库，是Live555最重要的模块。该模块声明了一个抽象类Medium，其他所有类都派生自该类，下面简要介绍这些类：

　　RTSPClient：该类实现RTSP请求的发送和响应的解析，同时根据解析的结果创建对应的RTP会话。 　　

　　MediaSession：用于表示一个RTP会话，一个MediaSession可能包含多个子会话(MediaSubSession)，子会话可以是音频子会话、视频子会话等。 　　

　    RTCPInstance：该类实现RTCP协议的通信。 　　

　　Source和Sink：Source抽象了数据源，比如通过RTP读取数据。Sink是数据消费者的抽象，比如把接收到数据存储到文件，该文件就是一个Sink。数据的流动可能经过多个Source和Sink。MediaSink是各种类型的Sink的基类，MediaSource是各种类型Source的基类，各种类型的流媒体格式和编码的支持即是通过对这两个类的派生实现的。Source和Sink通过RTP子会话(MediaSubSession)联系在一起。

 

    (4) BasicUsageEnvironment 是UsageEnvironment 和TaskScheduler类的一个基本实现。

    (5) 测试代码，在testProgram目录下，比如openRTSP等，这些代码有助于理解liveMedia的应用。

    (6) Media Server是一个纯粹的RTSP服务器。支持多种格式的媒体文件:

        * TS流文件，扩展名ts。 
        * PS流文件，扩展名mpg。 
        * MPEG-4视频基本流文件，扩展名m4e。 
        * MP3文件，扩展名mp3。 
        * WAV文件(PCM)，扩展名wav。 
        * AMR音频文件，扩展名.amr。 
        * AAC文件，ADTS格式，扩展名aac。 

/***********************************************************************************************/

用live555开发应用程序

    基于liveMedia的程序，需要通过继承抽象类UsageEnvironment和TaskScheduler，来处理事件调度、数据读写以及错误处理。live项目的源代码里有这些类的一个基本实现，这就是“BasicUsageEnvironment”库。

    BasicUsageEnvironment，是针对简单的控制台应用程序，利用select实现事件获取和处理。这个库利用Unix或者 Windows的控制台作为输入输出，可以用这个库用户可以开发传统的运行与控制台的应用。
    可以通过使用自定义子类，使应用程序运行在特定的环境中。需要指出的是：在图形环境下，TaskScheduler 的子类在实现 doEventLoop()的时候应该与图形环境的事件处理框架集成。

 

基本概念

    Sink，是消费数据的对象，如把接收到的数据存储到文件，这个文件就是一个Sink。

    Source，是生产数据的对象，比如通过RTP读取数据。数据流经过多个'source'和'sink's，如下：

        'source1' -> 'source2' (a filter) -> 'source3' (a filter) -> 'sink'

    filter，从其它Source接收数据的source也叫filter。

    Module，是一个sink或者一个filter。

    数据接收的终点是Sink类，MediaSink是所有Sink类的基类。Sink类通过实现纯虚函数continuePlaying()对数据进行处理。通常情况下 continuePlaying调用 fSource->getNextFrame 来为Source设置数据缓冲区、处理数据的回调函数等，fSource是MediaSink的类型为FramedSource*的类成员。

 

基本控制流程

基于liveMedia的应用程序的控制流程如下:

 应用程序是事件驱动的，使用如下方式的循环 
        while (1)

  { 
                 通过查找读网络句柄的列表和延迟队列（delay queue）来发现需要完成的任务 
                 完成这个任务 
          } 
    对于每个sink，在进入这个循环之前，通常调用下面的方法来启动需要做的任务： someSinkObject->startPlaying()。任何时候，一个Module需要获取数据都通过调用它之前的Module的FramedSource::getNextFrame()方法。这是通过纯虚函数 FramedSource::doGetNextFrame() 实现的，每一个Source module都有相应的实现。

/***********************************************************************************************/ 

live555代码解读之一：RTSP连接的建立过程

    RTSPServer类用于构建一个RTSP服务器，该类其内部定义了一个RTSPClientSession类，用于处理单独的客户会话。

    首先创建RTSP服务器(具体实现类是DynamicRTSPServer)，在创建过程中：先建立 Socket(ourSocket)在TCP的554端口进行监听，然后把连接处理函数句柄 (RTSPServer::incomingConnectionHandler)和socket句柄传给任务调度器(taskScheduler)。

    任务调度器把socket句柄放入socket句柄集（fReadSet）中(后面select调用中用会到)，同时将 socket句柄和incomingConnectionHandler句柄关联起来。接着，主程序开始进入任务调度器的主循环 （doEventLoop），在主循环中调用系统函数select阻塞，等待网络连接。

    当RTSP客户端输入(rtsp://192.168.1.109/1.mpg)连接服务器时，select返回对应的scoket，进而根据前 面保存的对应关系，可找到对应处理函数句柄（前面提到的incomingConnectionHandler）。在 incomingConnectionHandler中创建了RTSPClientSession，开始对这个客户端的会话进行处理。

 

/***********************************************************************************************/

live555代码解读之二：DESCRIBE请求消息处理过程

 

    RTSP服务器收到客户端的DESCRIBE请求后，根据请求URL(rtsp://192.168.1.109/1.mpg)，找到对应的流媒体资源， 返回响应消息。ServerMediaSession类用来处理会话中描述，它包含多个（音频或视频）的子会话描述 (ServerMediaSubsession)。

    上节谈到RTSP服务器收到客户端的连接请求，建立了RTSPClientSession类，处理单独的客户会话。在建立 RTSPClientSession的过程中，将新建立的socket句柄（clientSocket）和RTSP请求处理函数句柄RTSPClientSession::incomingRequestHandler 传给任务调度器，由任务调度器对两者进行一对一关联。当客户端发出 RTSP请求后，服务器主循环中的select调用返回，根据socket句柄找到对应的incomingRequestHandler，开始消息处理。

    先进行消息的解析，如果发现请求是DESCRIBE则进入handleCmd_DESCRIBE函数。根据客户端请求URL的后缀(例如是1.mpg), 调用成员函数DynamicRTSPServer::lookupServerMediaSession查找对应的流媒体信息 ServerMediaSession。如果ServerMediaSession不存在，但是本地存在1.mpg文件，则创建一个新的 ServerMediaSession。在创建ServerMediaSession过程中，根据文件后缀.mpg，创建媒体MPEG-1or2的解复用器(MPEG1or2FileServerDemux)。再由MPEG1or2FileServerDemux创建一个子会话描述 MPEG1or2DemuxedServerMediaSubsession。最后由ServerMediaSession完成组装响应消息中的SDP信息（SDP组装过程见下面的描述），然后将响应消息发给客户端，完成一次消息交互。
    SDP消息组装过程：
    ServerMediaSession负责产生会话公共描述信息，子会话描述由 MPEG1or2DemuxedServerMediaSubsession产生。 MPEG1or2DemuxedServerMediaSubsession在其父类成员函数 OnDemandServerMediaSubsession::sdpLines()中生成会话描述信息。在sdpLines()实现里面，创建一个虚 构(dummy)的FramedSource(具体实现类为MPEG1or2AudioStreamFramer和 MPEG1or2VideoStreamFramer)和RTPSink（具体实现类为MPEG1or2AudioRTPSink和 MPEG1or2VideoRTPSink），最后调用setSDPLinesFromRTPSink(...)成员函数生成子会话描述。
    以上涉及到的类以及继承关系(所有类都是Medium 的子类)： 
        ServerMediaSession 
        ServerMediaSubsession <- OnDemandServerMediaSubsession <- MPEG1or2DemuxedServerMediaSubsession 
        MediaSource <- FramedSouse <- FramedFileSource <- ByteStreamFileSource 
        MediaSource <- FramedSouse <- MPEG1or2DemuxedElementaryStream 
        MPEG1or2FileServerDemux 
        MPEG1or2Demux 
        MediaSource <- FramedSouse <- MPEG1or2DemuxedElementaryStream 
        MediaSource <- FramedSouse <- FramedFilter <- MPEGVideoStreamFramer <- MPEG1or2VideoStreamFramer 
        MediaSink <- RTPSink <- MultiFramedRTPSink <- VideoRTPSink <- MPEG1or2VideoRTPSink

 

/***********************************************************************************************/ 

live555代码解读之三：SETUP 和PLAY请求消息处理过程

 

    前面提到RTSPClientSession类，用于处理单独的客户会话。其类成员函数handleCmd_SETUP()处理客户端的SETUP请求。调用parseTransportHeader() 对SETUP请求的传输头解析，调用子会话(这里具体实现类为 OnDemandServerMediaSubsession)的getStreamParameters()函数获取流媒体发送传输参数。将这些参数组 装成响应消息，返回给客户端。

    获取发送传输参数的过程：调用子会话(具体实现类MPEG1or2DemuxedServerMediaSubsession)的 createNewStreamSource(...)创建MPEG1or2VideoStreamFramer，选择发送传输参数，并调用子会话的 createNewRTPSink(...)创建MPEG1or2VideoRTPSink。同时将这些信息保存在StreamState类对象中，用于 记录流的状态。

    客户端发送两个SETUP请求，分别用于建立音频和视频的RTP接收。

    PLAY请求消息处理过程：

    RTSPClientSession类成员函数handleCmd_PLAY() 处理客户端的播放请求。

    首先调用子会话的startStream()，内部调用MediaSink::startPlaying(...)，

    然后调用MultiFramedRTPSink::continuePlaying()，

    接着调用 MultiFramedRTPSink::buildAndSendPacket(...)。buildAndSendPacke内部先设置RTP包头， 内部再调用MultiFramedRTPSink::packFrame()填充编码帧数据。

    packFrame内部通过 FramedSource::getNextFrame()，接着MPEGVideoStreamFramer::doGetNextFrame()，再接着经过 MPEGVideoStreamFramer::continueReadProcessing()， FramedSource::afterGetting(...),  MultiFramedRTPSink::afterGettingFrame(...),  MultiFramedRTPSink::afterGettingFrame1(...)等一系列调用，

    最后到了 MultiFramedRTPSink::sendPacketIfNecessary(), 这里才真正发送RTP数据包。然后是计算下一个数据包发送时间，把MultiFramedRTPSink::sendNext(...)函数句柄传给任务 调度器，作为一个延时事件调度。在主循环中，当MultiFramedRTPSink::sendNext()被调度时，又开始调用 MultiFramedRTPSink::buildAndSendPacket(...)开始新的发送数据过程，这样客户端可以源源不断的收到服务器传 来的RTP包了。

    发送RTP数据包的间隔计算方法：
    Update the time at which the next packet should be sent, based on the duration of the frame that we just packed into it.

    涉及到一些类有：

        MPEGVideoStreamFramer：A filter that breaks up an MPEG video elementary stream into headers and frames

        MPEG1or2VideoStreamFramer：A filter that breaks up an MPEG 1 or 2 video elementary stream into frames for: Video_Sequence_Header, GOP_Header, Picture_Header

        MPEG1or2DemuxedElementaryStream：A MPEG 1 or 2 Elementary Stream, demultiplexed from a Program Stream

        MPEG1or2Demux：Demultiplexer for a MPEG 1 or 2 Program Stream

        ByteStreamFileSource：A file source that is a plain byte stream (rather than frames)

        MPEGProgramStreamParser：Class for parsing MPEG program stream

        StreamParser：Abstract class for parsing a byte stream

        StreamState：A class that represents the state of an ongoing stream