WebRTC源码分析三:视频处理流程

来源:互联网 发布:mysql存储过程写法 out 编辑:程序博客网 时间:2024/05/02 12:27

 文本介绍视频的处理流程。图1中显示了两路视频会话视频信号流过程。


图1 视频流程示意图

以一路视频会话为例,主要分为以下几个线程:

1)视频源产生线程:Camera生产视频画面,封装成视频帧,以一定帧率投递到下一个模块。;

2)采集线程:由Capturer负责采集视频帧,并对视频帧进行一定处理,如调整画面亮度。并送入各个发送链路的编码模块编码并发送出去;

3)接收线程:Rtp/Rtcp负责接收RTP/RTCP数据包,并进行包解析;

4)解码线程:Decoder解码编码后的视频帧;

5)投递线程:Render接收解码后的视频帧并缓存,投递给显示设备;

6)显示线程:Player负责绘制或输出视频画面,可以做多个窗口显示或者一个窗口多画面显示。

    视频解码时间相对编码时间要长,因此开辟了单独线程完成解码;另外多路视频画面接收后没有类似多路音频混音的操作,而是分别进行渲染显示。
0 0
原创粉丝点击