音视频初探

音视频

首先看到的是一张图,这是播放一个视频文件的基本流程,下面我将分别对其中的步骤做出自己的理解!

自己的理解

1.我们播放一个视频数据的时候,首先拿到的是封装格式的数据,这个数据是压缩数据,不能立即被播放,需要被解封装.

2.视频文件既有视频画面也有音频数据,那么经过解封装的步骤,可以将音视频数据分离开来,分别拿到音频压缩数据与视频压缩数据.

3.音频视频压缩数据是经过一些算法压缩产生的,音频的压缩算法AAC,MP3等待,视频的压缩算法有H.264,MPEG2等

4.这个时候的数据还不能播放,需要经过解压缩,音频解压缩得到音频采样数据PCM流,视频解码得到视频像素数据YUV.这个时候拿到的数据就是最原始的数据 ,那么音频可以在扩音器上播放,视频像素可以在屏幕上显示,通过音视频同步就可以正常的播放视频文件

一些概念

封装格式

音频码流以及视频码流是按照一定的格式存储到一个文件中的,常见的封装格式有:MP4,FLV,AVI,RMVB….

下面是几个封装格式的介绍

视频编码数据

视频编码是将我们的原始的视频像素数据YUV压缩成为视频码流,减小视频的数据量,常见的视频编码H.264,MPEG2,VC-1.

下面是H.264的介绍

音频编码数据

音频编码数据是将采集到的PCM数据压缩编码成为音频码流,减小音频数据量,常见的音频编码有AAC,MP3…
AAC的介绍如下:

视频像素数据

视频像素数据保存了每个像素点的像素值,常见的视频像素数据格式有RGB888,RGB8888,YUV420P,YUV422P,一般使用YUV像素格式.

RGB特点

YUV特点:
Y代表视频的亮度:黑白,UV代表视频的色度.
一些实验表明,我们人眼对亮度比较的敏感对色度不敏感,那么我们就可以对色度进行更多的压缩,即对UV这个分量进行更多的压缩,通常UV分量的为Y分量的1/4.

音频采样数据

音频采样数据保存了每个采样点的值,采样数据和采样频率(8000,11000,44100…),采样精度(8位,16位..)等有关系!

PCM采样数据: