音视频

学习中的音视频——音视频压缩编码

对文章[总结]视音频编解码技术零基础学习方法的学习

---

封装格式

何为封装格式？就是把视频数据和音频数据打包成一个文件的规范。如avi，rmvb，MP4，flv，mkv等
可用MediaInfo查看媒体信息。

视频播放器原理

步骤：

解协议将流媒体协议的数据，解析为标准的相应的封装格式数据。去除信令数据。
解封装将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。
解码将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。
视音频同步根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

流媒体协议

RTSP+RTP经常用于IPTV领域。因为其采用UDP传输视音频，支持组播，效率较高。但其缺点是网络不好的情况下可能会丢包，影响视频观看质量。因而围绕IPTV的视频质量的研究还是挺多的。

RTSP规范可参考：RTSP协议学习笔记
RTSP+RTP系统中衡量服务质量可参考：网络视频传输的服务质量（QoS）
上海IPTV码流分析结果可参考：IPTV视频码流分析

因为互联网网络环境的不稳定性，RTSP+RTP较少用于互联网视音频传输。互联网视频服务通常采用TCP作为其流媒体的传输层协议，因而像RTMP，MMS，HTTP这类的协议广泛用于互联网视音频服务之中。这类协议不会发生丢包，因而保证了视频的质量，但是传输的效率会相对低一些。
此外RTMFP是一种比较新的流媒体协议，特点是支持P2P。
RTMP研究：RTMP规范简单分析，或者RTMP流媒体播放过程
相关工具的源代码分析：RTMPdump源代码分析 1： main()函数[系列文章]
RTMP协议学习：RTMP流媒体技术零基础学习方法