FFmpeg教程（三）视频解码器

视频解码知识

纯净的视频解码流程

      压缩编码数据->像素数据。

      例如解码H.264,就是“H.264码流->YUV”。

一般的视频解码流程

       视频码流一般存储在一定的封装格式(例如MP4、AVI等)中。封装格式中通常还包含音频码流等内容。

       对于封装格式中的视频,需要先从封装格式中提取中视频码流,然后再进行解码。

       例如解码MKV格式的视频文件,就是“MKV->H.264码流->YUV”

FFmpeg库的简介

FFmpeg一共包含8个库:

    avcodec:编解码(最重要的库)。

    avformat:封装格式处理。

    avfilter:滤镜特效处理。

    avdevice:各种设备的输入输出

    avutil:工具库(大部分库都需要这个库的支持)。

    postproc:后加工。

    swresample:音频采样数据格式转换。

    swscale:视频像素数据格式转换

FFmpeg解码函数简介

    av_register_all():注册所有组件。

    avformat_open_input():打开输入视频文件。

    avformat_find_stream_info():获取视频文件信息。

    avcodec_find_decoder():查找解码器。

    avcodec_open2():打开解码器。

    av_read_frame():从输入文件读取一帧压缩数据。

    avcodec_decode_video2():解码一帧压缩数据。

    avcodec_close():关闭解码器。

    avformat_close_input():关闭输入视频文件

FFmpeg数据结构简介

AVFormatContext

    封装格式上下文结构体，也是统领全局的结构提，保存了视频文件爱你封装格式相关信息。

AVIputFormat

    每种封装格式（如FLV，MKV，MP4，AVI）对应一个该结构体。

AVStream

    视频文件中每个视频（音频）流对应一个该结构体。

AVCodecContext

     编码器上下文结构体，保存了视频（音频）编码相关信息

AVCodec

     每种视频（音频）编码器（例如H.264编码器）对应一个该结构体。

AVPacket

    储存一帧压缩编码数据

AVFrame

    储存一帧解码后像素（采样）数据

FFmpeg数据结构分析

AVFormatContext

    iformat:输入视频的AVInputFormat

    nb_streams:输入视频的AVStream个数

    streams:输入视频的AVStream[]数组

    duration:输入视频的时长（以微妙为单位）

    bit_rate:输入视频的码率

AVInputFormat

    name:封装格式名称

    long_name:封装格式的长名称

    extensions:封装格式的扩展名

    id:封装格式ID

    一些封装格式处理的接口函数

AVStream

    id:序号

    codec:该流对应的AVCodecContext

    time_base:该流的时基

    r_frame_rate:该流的帧率

AVCodecContext

    codec:编码器的AVCodec

    width,height:图像的宽高（只针对视频）

    pix_fmt:像素格式（只针对视频）

    sample_rate:采样率（只针对音频）

    channels:声道数（只针对音频）

    sample_fmt:采样格式（只针对音频）

AVCodec

    name:编码器名称

    long_name：编码器长名称

    type:编码器类型

    id:编码器ID

    一些编码器的接口函数

AVPacket

    pts：显示时间戳

    dts:解码时间戳

    data:压缩编码数据

    size:压缩编码数据大小

    stream_index:所属的AVStream

AVFrame

    data:解码后的图像像素数据（音频采样数据）

    linesize：对视频来说图像中一行像素的大小；对音频来说整个音频帧的大小

    width,height:图像的宽高（只针对视频）

    key_frame:是否为关键帧（只针对视频）

    pict_type:帧类型（只针对视频）

解码后的数据为什么要经过sws_scale()函数处理?

    解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。但是这些像素值并不是连续存储的,每行有效像素之后存储 了 一 些 无 效 像 素 。 以 亮 度 Y 数 据 为 例 , data[0] 中 一 共 包 含 了linesize[0]*height个数据。但是出于优化等方面的考虑,linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。因此需要使用sws_scale()进行转换。转换后去除了无效数据,width和linesize[0]取值相等。