FFMPEG（一）使用初探

本系列文章的重要参考来源是雷神的博客。
使用FFMPEG的主要流程如下：

av_register_all()->avformat_open_input()->av_find_stream_info()->avcodec_find_decoder()->avcodec_open()->av_read_frame()->loop{get packet->avcodec_decode_video2()}->end

FFMPEG打开媒体的的过程开始于avformat_open_input，这中间会涉及到输入输出结构体AVIOContext和URLProtocol结构体，每种输入协议都会定义一个URLProtocol变量，这里会定义url_open等函数。

如果说，在Windows平台上开发相关的程序，可以使用另一个开源库SDL，该开源库在Android中的路径为prebuilts/misc/windows/sdl2/，使用SDL的基本流程如下：

SDL_init()->SDL_SetVideoMode()创建出SDL_Surface->SDL_CreateYUVOverlay()创建出SDL_Overlay->loop{SDL_DisplayYUVOverlay()->decode->YUV->送给SDL_Overlay}->到显示器显示

其中SDL_Surface就是使用SDL的时候弹出的那个窗口。在SDL1.x版本中，只可以创建一个SDL_Surface。

SDL_Overlay用于显示YUV数据。一个SDL_Overlay对应一帧YUV数据。
SDL_Rect用于确定SDL_Overlay显示的位置。注意：一个SDL_Overlay可以指定多个不同的SDL_Rect，这样就可以在SDL_Surface不同位置显示相同的内容。

下面以一个音频播放的例子，说明代码实现流程。

static Uint8 *audio_chunk; static Uint32 audio_len; static Uint8 *audio_pos; void fill_audio(void *udata,Uint8 *stream,int len){ if(audio_len==0) /* Only play if we have data left */ return; len=(len>audio_len?audio_len:len); /* Mix as much data as possible */ SDL_MixAudio(stream,audio_pos,len,SDL_MIX_MAXVOLUME); audio_pos += len; audio_len -= len; } int main(int argc, char* argv[]) { AVFormatContext *pFormatCtx; AVCodecContext *pCodecCtx; AVCodec *pCodec; char url[]="WavinFlag.aac";av_register_all(); avformat_network_init(); pFormatCtx = avformat_alloc_context(); //Open avformat_open_input(&pFormatCtx,url,NULL,NULL);// Retrieve stream information av_find_stream_info(pFormatCtx)<0);// Find the first audio stream for(i=0; i < pFormatCtx->nb_streams; i++) if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_AUDIO){ audioStream=i; break; } // Get a pointer to the codec context for the audio stream pCodecCtx=pFormatCtx->streams[audioStream]->codec; // Find the decoder for the audio stream pCodec=avcodec_find_decoder(pCodecCtx->codec_id); // Open codec avcodec_open2(pCodecCtx, pCodec,NULL)<0);AVPacket *packet=(AVPacket *)malloc(sizeof(AVPacket)); av_init_packet(packet); AVFrame *pFrame; pFrame=avcodec_alloc_frame(); SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER);SDL_AudioSpec wanted_spec; wanted_spec.freq = out_sample_rate; wanted_spec.format = AUDIO_S16SYS; wanted_spec.channels = out_channels; wanted_spec.silence = 0; wanted_spec.samples = out_nb_samples; wanted_spec.callback = fill_audio; //Swr struct SwrContext *au_convert_ctx; au_convert_ctx = swr_alloc(); au_convert_ctx=swr_alloc_set_opts(au_convert_ctx,out_channel_layout, out_sample_fmt, out_sample_rate,in_channel_layout,pCodecCtx->sample_fmt , pCodecCtx->sample_rate,0, NULL); swr_init(au_convert_ctx); //Play SDL_PauseAudio(0); wanted_spec.userdata = pCodecCtx; SDL_OpenAudio(&wanted_spec, NULL);while(av_read_frame(pFormatCtx, packet)>=0){ if(packet->stream_index==audioStream){ avcodec_decode_audio4( pCodecCtx, pFrame,&got_picture, packet);if ( got_picture > 0 ){ swr_convert(au_convert_ctx,&out_buffer, MAX_AUDIO_FRAME_SIZE,(const uint8_t **)pFrame->data , pFrame->nb_samples);} //Set audio buffer (PCM data) audio_chunk = (Uint8 *) out_buffer; //Audio buffer length audio_len =out_buffer_size; audio_pos = audio_chunk; while(audio_len>0)//Wait until finish SDL_Delay(1); } av_free_packet(packet); } swr_free(&au_convert_ctx); SDL_CloseAudio();//Close SDL SDL_Quit(); av_free(out_buffer); avcodec_close(pCodecCtx); av_close_input_file(pFormatCtx); return 0; } 

对上面代码的简单理解，主要是如下三点：

1）以AVFormatContext、AVCodecContext和AVCodec为核心变量的构建输入源解码环境，经decode函数将解码的码流放入AVFrame变量，不过在解码过程中还要用到一个AVPacket中间变量，应该是Track数据容器。
2）SwrContex用于处理源音频格式向目标音频格式的转换。
3）SDL相关通过SDL_AudioSpec变量描述播放参数和音频流传输回调函数，解码器与回调函数之间通过全局变量协调音频流播放完成的节奏，其中每次解码的buffer大小固定的，用av_samples_get_buffer_size根据输入输出音频参数计算。

附录：
SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。

MinGW，是Minimalist GNUfor Windows的缩写。它是一个可自由使用和自由发布的Windows特定头文件和使用GNU工具集导入库的集合，允许你在GNU/Linux和Windows平台生成本地的Windows程序而不需要第三方C运行时（C Runtime）库。MinGW 是一组包含文件和端口库，其功能是允许控制台模式的程序使用微软的标准C运行时（C Runtime）库（MSVCRT.DLL）,该库在所有的 NT OS 上有效，在所有的 Windows 95发行版以上的 Windows OS 有效，使用基本运行时，你可以使用 GCC 写控制台模式的符合美国标准化组织（ANSI）程序，可以使用微软提供的 C 运行时（C Runtime）扩展，与基本运行时相结合，就可以有充分的权利既使用 CRT（C Runtime）又使用 WindowsAPI功能。