FFmpeg - 视频解码过程

FFmpeg的文档做得不好，导致学会使用这个库是存在一定难度的。在对文件进行解码时，抄网上流传的例子就可以了。比如，常见的例子是这样的：

main(0{   av_register_all();    // Open video file    if(av_open_input_file(&pFormatCtx, argv[1], NULL, 0, NULL)!=0)        return -1; // Couldn't open file    // Retrieve stream information    if(av_find_stream_info(pFormatCtx)<0)        return -1; // Couldn't find stream information    pCodecCtx=&pFormatCtx->streams[videoStream]->codec;    // Find the decoder for the video stream    pCodec=avcodec_find_decoder(pCodecCtx->codec_id);    if(pCodec==NULL)        return -1; // Codec not found   ...}

以解TS流文件为例，上述代码会把读文件、读TS包、解PMT, PAT、解PES等过程都内部做了，使用者即使不懂这些概念，也是可以写出一个解TS文件成图像的例子的。但如果输入的是一个TS流怎么办呢？--显然再用av_open_input_file()这种就行了。

对于流媒体TS，要对MPEG-2有一定了解。其步骤简述如下：

(1) 解复用，得到PAT, PMT，得到PES_pid

(2) 对PES解复用，得到其PTS和ES

(3) 把ES（图像编码数据）交给FFmpeg解码，得到图像

(4) 按PTS顺序，显示图像。如果是AVC/H264编码，其PTS顺序一般不是自然顺序。

那么，在第（3）步中，怎么使用FFmpeg来解ES呢？参考其examples，总结得到以下顺序：

////////////////////初始化 ///////////////////////////////

// 查找解码器ID    CodecID codec_id = CODEC_ID_NONE;        switch(stream_type)    {    default:        codec_id = CODEC_ID_H264;    }    // 查找解码器    m_pCodec = avcodec_find_decoder(codec_id);    if (!m_pCodec)    {        fprintf(stderr, "codec not found\n");        return -1;    }    // 打开解码器    m_pCodecContext = avcodec_alloc_context();    if (avcodec_open(m_pCodecContext, m_pCodec) < 0)    {        fprintf(stderr, "could not open codec\n");        return -1;    }    // 申请一帧的空间用于解码    m_pPicture = avcodec_alloc_frame();

//////////// 解码 /////////////////

 

// 解析PES得到ES    TS_PesDecoder pesdec;    pesdec.Parse(m_iDemux.Payload(), m_iDemux.PayloadSize());    // AVPacket应包含的是ES数据    AVPacket avpkt;    av_init_packet(&avpkt);    avpkt.size = pesdec.m_nEsLength;    avpkt.data = pesdec.m_pEs;        if (avpkt.size == 0) return -1 ;    // 解AVPacket，得到图像数据AVFrame    while (avpkt.size > 0)    {        int got_picture = 0;        int len = avcodec_decode_video2(m_pCodecContext, m_pPicture, &got_picture, &avpkt);        if (len < 0)        {            fprintf(stderr, "Error while decoding frame...\n");            break;        }        if (got_picture)        {            int width = m_pCodecContext->width;            int height = m_pCodecContext->height;            VideoFrame frame;            frame.nWidth = width;            frame.nHeight = height;            frame.nPts = pesdec.m_nPts / 45; // in ms            AVPicture& pic_rgb = frame.iPic;            avpicture_alloc(&pic_rgb, PIX_FMT_RGB24, width, height);            // 用swscale库把YUYV420P转成RGB24            SwsContext* img_convert_ctx = sws_getContext(width, height, PIX_FMT_YUV420P,                width, height, PIX_FMT_RGB24,                SWS_BICUBIC, NULL, NULL, NULL);            sws_scale(img_convert_ctx,                m_pPicture->data, m_pPicture->linesize,                0, height,                pic_rgb.data, pic_rgb.linesize);            sws_freeContext(img_convert_ctx);            printf("Saving a frame ....\n");            m_iMutex.Lock();            m_lstFrames.push_back(frame);            m_iMutex.Unlock();                    return 1;        }        avpkt.size -= len;        avpkt.data += len;    }