程序博客网 > 网络相关法律法规

ffmpeg综合应用示例（二）——为直播流添加特效

来源：互联网 发布：网络相关法律法规 编辑：程序博客网 时间：2024/05/20 04:08

http://blog.csdn.net/nonmarking/article/details/48140653


在上一篇文章中，讲解了如何利用ffmpeg实现摄像头直播，本文将在此基础上，实现一个可以选择各种视频滤镜的摄像头直播示例。本文包含以下内容

1、AVFilter的基本介绍

2、如何利用ffmpeg命令行工具实现各种视频滤镜

3、如何利用libavfilter编程实现在摄像头直播流中加入各类不同滤镜的功能

具有较强的综合性。

AVFilter的基本介绍

AVFilter的功能十分强大，可以实现对多媒体数据的各种处理，包括时间线编辑、视音频特效滤镜的添加或信号处理，还可以实现多路媒体流的合并或叠加，其丰富程度令人叹为观止。这里主要以视频滤镜为例进行介绍。使用AVFilter可以为单路视频添加单个或多个滤镜，也可以为多路视频分别添加不同的滤镜并且在最后将多路视频合并为一路视频，AVFilter为实现这些功能定义了以下几个概念：

Filter:代表单个filter
FilterPad:代表一个filter的输入或输出端口，每个filter都可以有多个输入和多个输出，只有输出pad的filter称为source,只有输入pad的filter称为sink
FilterLink:若一个filter的输出pad和另一个filter的输入pad名字相同，即认为两个filter之间建立了link

FilterChain:代表一串相互连接的filters，除了source和sink外，要求每个filter的输入输出pad都有对应的输出和输入pad

FilterGraph:FilterChain的集合

基本和DirectShow类似，也与视频后期调色软件中的节点等概念类似。具体来看，以下面的命令为例

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. [in]split[main][tmp];[tmp]crop=iw:ih/2,vflip[flip];[main][flip]overlay=0:H/2[out]  

在该命令中，输入流[in]首先被分[split]为两个流[main]和[tmp]，然后[tmp]流经过了剪切[crop]和翻转[vflip]两个滤镜后变为[flip]，这时我们将[flip]叠加[overlay]到最开始的[main]上形成最后的输出流[out]，最后呈现出的是镜像的效果。下图清晰地表示了以上过程


我们可以认为图中每一个节点就是一个Filter，每一个方括号所代表的就是FilterPad，可以看到split的输出pad中有一个叫tmp的，而crop的输入pad中也有一个tmp，由此在二者之间建立了link，当然input和output代表的就是source和sink，此外，图中有三条FilterChain，第一条由input和split组成，第二条由crop和vflip组成，第三条由overlay和output组成，整张图即是一个拥有三个FilterChain的FilterGraph。

上面的图是人工画出来的，也可以在代码中调用avfilter_graph_dump函数自动将FilterGraph画出来，如下


可以看到，多出来了一个scale滤镜，这是由ffmpeg自动添加的用于格式转换的滤镜。

在FFmpeg命令行工具中使用AVFilter

在命令行中使用AVFilter需要遵循专门的语法，简单来说，就是每个Filter之间以逗号分隔，每个Filter自己的属性之间以冒号分隔，属性和Filter以等号相连，多个Filter组成一个FilterChain，每个FilterChain之间以分号相隔。AVFilter在命令行工具中对应的是-vf或-af或-filter_complex，前两个分别对应于单路输入的视频滤镜和音频滤镜，最后的filter_complex则对应于有多路输入的情况。除了在FFMpeg命令行工具中使用外，在FFplay中同样也可以使用AVFilter。其他一些关于单双引号、转义符号等更详细的语法参考Filter Documentation

下面举几个例子

1、叠加水印

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -i test.flv -vf movie=test.jpg[wm];[in][wm]overlay=5:5[out] out.flv  
将test.jpg作为水印叠加到test.flv的坐标为(5,5)的位置上，效果如下


2、镜像

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -i test.flv -vf crop=iw/2:ih:0:0,split[left][tmp];[tmp]hflip[right];[left]pad=iw*2[a];[a][right]overlay=w out.flv  
输入[in]和输出[out]可以省略不写，pad用于填充画面，效果如下

3、调整曲线

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -i test.flv -vf curves=vintage out.flv  
类似Photoshop里面的曲线调整，这里的vintage是ffmpeg自带的预设，实现复古画风，还可以直接加载其他的Photoshop预设文件并在其基础上加以调整，如下

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -i test.flv -vf curves=psfile='test.acv':green='0.45/0.53' out.flv  
其中的acv预设文件实现的是加强对比度，再次基础上调整绿色的显示效果，以上两个命令的最终效果如下

4、多路输入拼接

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -i test1.mp4 -i test2.mp4 -i test3.mp4 -i test4.mp4 -filter_complex "[0:v]pad=iw*2:ih*2[a];[a][1:v]overlay=w[b];[b][2:v]overlay=0:h[c];[c][3:v]overlay=w:h" out.mp4  
正如前面所说的，当有多个输入时，需要使用filter_complex，效果如下

通过以上几个例子，基本可以明白在命令行中使用AVFilter时需要遵循的语法。

使用libavfilter编程为直播流添加滤镜

要使用libavfilter，首先要注册相关组件

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. avfilter_register_all();  
首先需要构造出一个完整可用的FilterGraph，需要用到输入流的解码参数，参见上一篇文章，如下

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. AVFilterContext *buffersink_ctx;//看名字好像AVFilterContext是什么很厉害的东西，但其实只要认为它是AVFilter的一个实例就OK了  
  2. AVFilterContext *buffersrc_ctx;  
  3. AVFilterGraph *filter_graph;  
  4. AVFilter *buffersrc=avfilter_get_by_name("buffer");//Filter的具体定义，只要是libavfilter中已注册的filter，就可以直接通过查询filter名字的方法获得其具体定义，所谓定义即filter的名称、功能描述、输入输出pad、相关回调函数等  
  5. AVFilter *buffersink=avfilter_get_by_name("buffersink");  
  6. AVFilterInOut *outputs = avfilter_inout_alloc();//AVFilterInOut对应buffer和buffersink这两个首尾端的filter的输入输出  
  7. AVFilterInOut *inputs = avfilter_inout_alloc();  
  8. filter_graph = avfilter_graph_alloc();  
  9.   
  10.     /* buffer video source: the decoded frames from the decoder will be inserted here. */  
  11.     snprintf(args, sizeof(args),  
  12.         "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",  
  13.         ifmt_ctx->streams[0]->codec->width, ifmt_ctx->streams[0]->codec->height, ifmt_ctx->streams[0]->codec->pix_fmt,  
  14.         ifmt_ctx->streams[0]->time_base.num, ifmt_ctx->streams[0]->time_base.den,  
  15.         ifmt_ctx->streams[0]->codec->sample_aspect_ratio.num, ifmt_ctx->streams[0]->codec->sample_aspect_ratio.den);  
  16.   
  17.     ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",  
  18.         args, NULL, filter_graph);//根据指定的Filter，这里就是buffer，构造对应的初始化参数args，二者结合即可创建Filter的示例，并放入filter_graph中  
  19.     if (ret < 0) {  
  20.         printf("Cannot create buffer source\n");  
  21.         return ret;  
  22.     }  
  23.   
  24.     /* buffer video sink: to terminate the filter chain. */  
  25.     ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",  
  26.         NULL, NULL, filter_graph);  
  27.     if (ret < 0) {  
  28.         printf("Cannot create buffer sink\n");  
  29.         return ret;  
  30.     }  
  31.   
  32.     /* Endpoints for the filter graph. */  
  33.     outputs->name = av_strdup("in");//对应buffer这个filter的output  
  34.     outputs->filter_ctx = buffersrc_ctx;  
  35.     outputs->pad_idx = 0;  
  36.     outputs->next = NULL;  
  37.   
  38.     inputs->name = av_strdup("out");//对应buffersink这个filter的input  
  39.     inputs->filter_ctx = buffersink_ctx;  
  40.     inputs->pad_idx = 0;  
  41.     inputs->next = NULL;  
  42.   
  43.     if ((ret = avfilter_graph_parse_ptr(filter_graph, filter_descr,  
  44.         &inputs, &outputs, NULL)) < 0)//filter_descr是一个filter命令，例如"overlay=iw:ih"，该函数可以解析这个命令，然后自动完成FilterGraph中各个Filter之间的联接  
  45.         return ret;  
  46.   
  47.     if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0)//检查当前所构造的FilterGraph的完整性与可用性  
  48.         return ret;  
  49.   
  50.     avfilter_inout_free(&inputs);  
  51.     avfilter_inout_free(&outputs);  
上面介绍的是FilterGraph的构造方法之一，即根据filter命令使用avfilter_graph_parse_ptr自动进行构造，当然也可以由我们自己将各个filter一一联接起来，如下，这里假设我们已经有了buffersrc_ctx、 buffersink_ctx和一个filter_ctx
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. // connect inputs and outputs  
  2. if (err >= 0) err = avfilter_link(buffersrc_ctx, 0, filter_ctx, 0);  
  3. if (err >= 0) err = avfilter_link(filter_ctx, 0, buffersink_ctx, 0);  
  4. if (err < 0) {  
  5.     av_log(NULL, AV_LOG_ERROR, "error connecting filters\n");  
  6.     return err;  
  7. }  
  8. err = avfilter_graph_config(filter_graph, NULL);  
  9. if (err < 0) {  
  10.     av_log(NULL, AV_LOG_ERROR, "error configuring the filter graph\n");  
  11.     return err;  
  12. }  
  13. return 0;  
不过在filter较多的情况下，还是直接使用avfilter_graph_parse_ptr比较方便

在构造好FilterGraph之后，就可以开始使用了，使用流程也很简单，先将一个AVFrame帧推入FIlterGraph中，在将处理后的AVFrame从FilterGraph中拉出来即可，这里以上一篇文章的编解码核心模块的代码为例看一下实现过程。可以看到，是将解码得到的pFrame推入filter_graph,将处理后的数据写入picref中，他也是一个AVFrame。需要注意的是，这里依然要将picref转换为YUV420的帧之后再进行编码，一方面是因为我们这里用的是摄像头数据，是RGB格式的，另一方面，诸如curves这样的filter是在RGB空间进行处理的，最后得到的也是对应像素格式的帧，所以需要进行转换。其他部分基本和原来一样。

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. //start decode and encode  
  2.     int64_t start_time=av_gettime();  
  3.     while (av_read_frame(ifmt_ctx, dec_pkt) >= 0){     
  4.         if (exit_thread)  
  5.             break;  
  6.         av_log(NULL, AV_LOG_DEBUG, "Going to reencode the frame\n");  
  7.         pframe = av_frame_alloc();  
  8.         if (!pframe) {  
  9.             ret = AVERROR(ENOMEM);  
  10.             return -1;  
  11.         }  
  12.         //av_packet_rescale_ts(dec_pkt, ifmt_ctx->streams[dec_pkt->stream_index]->time_base,  
  13.         //  ifmt_ctx->streams[dec_pkt->stream_index]->codec->time_base);  
  14.         ret = avcodec_decode_video2(ifmt_ctx->streams[dec_pkt->stream_index]->codec, pframe,  
  15.             &dec_got_frame, dec_pkt);  
  16.         if (ret < 0) {  
  17.             av_frame_free(&pframe);  
  18.             av_log(NULL, AV_LOG_ERROR, "Decoding failed\n");  
  19.             break;  
  20.         }  
  21.         if (dec_got_frame){  
  22. #if USEFILTER  
  23.                 pframe->pts = av_frame_get_best_effort_timestamp(pframe);  
  24.   
  25.                 if (filter_change)  
  26.                     apply_filters(ifmt_ctx);  
  27.                 filter_change = 0;  
  28.                 /* push the decoded frame into the filtergraph */  
  29.                 if (av_buffersrc_add_frame(buffersrc_ctx, pframe) < 0) {  
  30.                     printf("Error while feeding the filtergraph\n");  
  31.                     break;  
  32.                 }  
  33.                 picref = av_frame_alloc();  
  34.   
  35.                 /* pull filtered pictures from the filtergraph */  
  36.                 while (1) {  
  37.                     ret = av_buffersink_get_frame_flags(buffersink_ctx, picref, 0);  
  38.                     if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)  
  39.                         break;  
  40.                     if (ret < 0)  
  41.                         return ret;  
  42.   
  43.                     if (picref) {  
  44.                         img_convert_ctx = sws_getContext(picref->width, picref->height, (AVPixelFormat)picref->format, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);  
  45.                         sws_scale(img_convert_ctx, (const uint8_t* const*)picref->data, picref->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  46.                         sws_freeContext(img_convert_ctx);  
  47.                         pFrameYUV->width = picref->width;  
  48.                         pFrameYUV->height = picref->height;  
  49.                         pFrameYUV->format = PIX_FMT_YUV420P;  
  50. #else  
  51.                         sws_scale(img_convert_ctx, (const uint8_t* const*)pframe->data, pframe->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  52.                         pFrameYUV->width = pframe->width;  
  53.                         pFrameYUV->height = pframe->height;  
  54.                         pFrameYUV->format = PIX_FMT_YUV420P;  
  55. #endif                    
  56.                         enc_pkt.data = NULL;  
  57.                         enc_pkt.size = 0;  
  58.                         av_init_packet(&enc_pkt);  
  59.                         ret = avcodec_encode_video2(pCodecCtx, &enc_pkt, pFrameYUV, &enc_got_frame);  
  60.                         av_frame_free(&pframe);  
  61.                         if (enc_got_frame == 1){  
  62.                             //printf("Succeed to encode frame: %5d\tsize:%5d\n", framecnt, enc_pkt.size);  
  63.                             framecnt++;  
  64.                             enc_pkt.stream_index = video_st->index;  
  65.   
  66.                             //Write PTS  
  67.                             AVRational time_base = ofmt_ctx->streams[videoindex]->time_base;//{ 1, 1000 };  
  68.                             AVRational r_framerate1 = ifmt_ctx->streams[videoindex]->r_frame_rate;// { 50, 2 };  
  69.                             AVRational time_base_q = { 1, AV_TIME_BASE };  
  70.                             //Duration between 2 frames (us)  
  71.                             int64_t calc_duration = (double)(AV_TIME_BASE)*(1 / av_q2d(r_framerate1));  //内部时间戳  
  72.                             //Parameters  
  73.                             //enc_pkt.pts = (double)(framecnt*calc_duration)*(double)(av_q2d(time_base_q)) / (double)(av_q2d(time_base));  
  74.                             enc_pkt.pts = av_rescale_q(framecnt*calc_duration, time_base_q, time_base);  
  75.                             enc_pkt.dts = enc_pkt.pts;  
  76.                             enc_pkt.duration = av_rescale_q(calc_duration, time_base_q, time_base); //(double)(calc_duration)*(double)(av_q2d(time_base_q)) / (double)(av_q2d(time_base));  
  77.                             enc_pkt.pos = -1;  
  78.   
  79.                             //Delay  
  80.                             int64_t pts_time = av_rescale_q(enc_pkt.dts, time_base, time_base_q);  
  81.                             int64_t now_time = av_gettime() - start_time;  
  82.                             if (pts_time > now_time)  
  83.                                 av_usleep(pts_time - now_time);  
  84.   
  85.                             ret = av_interleaved_write_frame(ofmt_ctx, &enc_pkt);  
  86.                             av_free_packet(&enc_pkt);  
  87.                         }  
  88. #if USEFILTER  
  89.                         av_frame_unref(picref);  
  90.                     }  
  91.                 }         
  92. #endif  
  93.         }  
  94.         else {  
  95.             av_frame_free(&pframe);  
  96.         }  
  97.         av_free_packet(dec_pkt);  
  98.     }  

这里我们还可以实现一个按下不同的数字键就添加不同的滤镜的功能，如下

可以看到，首先写好一些要用的filter命令，然后在多线程的回调函数里监视用户的按键情况，根据不同的按键使用对应的filter命令初始化filter_graph，这里“null”也是一个filter命令，用于将输入视频原样输出

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #if USEFILTER  
  2. int filter_change = 1;  
  3. const char *filter_descr="null";  
  4. const char *filter_mirror = "crop=iw/2:ih:0:0,split[left][tmp];[tmp]hflip[right]; \  
  5.                                                 [left]pad=iw*2[a];[a][right]overlay=w";  
  6. const char *filter_watermark = "movie=test.jpg[wm];[in][wm]overlay=5:5[out]";  
  7. const char *filter_negate = "negate[out]";  
  8. const char *filter_edge = "edgedetect[out]";  
  9. const char *filter_split4 = "scale=iw/2:ih/2[in_tmp];[in_tmp]split=4[in_1][in_2][in_3][in_4];[in_1]pad=iw*2:ih*2[a];[a][in_2]overlay=w[b];[b][in_3]overlay=0:h[d];[d][in_4]overlay=w:h[out]";  
  10. const char *filter_vintage = "curves=vintage";  
  11. typedef enum{  
  12.     FILTER_NULL =48,  
  13.     FILTER_MIRROR ,  
  14.     FILTER_WATERMATK,  
  15.     FILTER_NEGATE,  
  16.     FILTER_EDGE,  
  17.     FILTER_SPLIT4,  
  18.     FILTER_VINTAGE  
  19. }FILTERS;  
  20.   
  21. AVFilterContext *buffersink_ctx;  
  22. AVFilterContext *buffersrc_ctx;  
  23. AVFilterGraph *filter_graph;  
  24. AVFilter *buffersrc;  
  25. AVFilter *buffersink;  
  26. AVFrame* picref;  
  27. #endif  
  28.   
  29. DWORD WINAPI MyThreadFunction(LPVOID lpParam)  
  30. {     
  31. #if USEFILTER  
  32.     int ch = getchar();  
  33.     while (ch != '\n')  
  34.     {         
  35.         switch (ch){  
  36.             case FILTER_NULL:  
  37.             {  
  38.                 printf("\nnow using null filter\nPress other numbers for other filters:");  
  39.                 filter_change = 1;  
  40.                 filter_descr = "null";  
  41.                 getchar();  
  42.                 ch = getchar();  
  43.                 break;  
  44.             }  
  45.             case FILTER_MIRROR:  
  46.             {  
  47.                 printf("\nnow using mirror filter\nPress other numbers for other filters:");  
  48.                 filter_change = 1;  
  49.                 filter_descr = filter_mirror;  
  50.                 getchar();  
  51.                 ch = getchar();  
  52.                 break;  
  53.             }  
  54.             case FILTER_WATERMATK:  
  55.             {  
  56.                 printf("\nnow using watermark filter\nPress other numbers for other filters:");  
  57.                 filter_change = 1;  
  58.                 filter_descr = filter_watermark;  
  59.                 getchar();  
  60.                 ch = getchar();  
  61.                 break;  
  62.             }  
  63.             case FILTER_NEGATE:  
  64.             {  
  65.                 printf("\nnow using negate filter\nPress other numbers for other filters:");  
  66.                 filter_change = 1;  
  67.                 filter_descr = filter_negate;  
  68.                 getchar();  
  69.                 ch = getchar();  
  70.                 break;  
  71.             }  
  72.             case FILTER_EDGE:  
  73.             {  
  74.                 printf("\nnow using edge filter\nPress other numbers for other filters:");  
  75.                 filter_change = 1;  
  76.                 filter_descr = filter_edge;  
  77.                 getchar();  
  78.                 ch = getchar();  
  79.                 break;  
  80.             }  
  81.             case FILTER_SPLIT4:  
  82.             {  
  83.                 printf("\nnow using split4 filter\nPress other numbers for other filters:");  
  84.                 filter_change = 1;  
  85.                 filter_descr = filter_split4;  
  86.                 getchar();  
  87.                 ch = getchar();  
  88.                 break;  
  89.             }  
  90.             case FILTER_VINTAGE:  
  91.             {  
  92.                 printf("\nnow using vintage filter\nPress other numbers for other filters:");  
  93.                 filter_change = 1;  
  94.                 filter_descr = filter_vintage;  
  95.                 getchar();  
  96.                 ch = getchar();  
  97.                 break;  
  98.             }  
  99.             default:  
  100.             {  
  101.                 getchar();  
  102.                 ch = getchar();  
  103.                 break;  
  104.             }  
  105.         }  
  106. #else  
  107.     while ((getchar())!='\n')  
  108.     {  
  109.     ;  
  110. #endif  
  111.     }  
  112.     exit_thread = 1;  
  113.     return 0;  
  114. }  

除了在API层面调用AVFilter之外，还可以自己写一个FIlter，实现自己想要的功能，比如前面用到的反相功能，就是用255减去原来的像素数据值实现的，在后面的文章中会专门介绍如何自己编写一个Filter。

此外，针对多输入的Filter使用也是一个比较难的点，期待大家的交流。

本项目源代码下载地址。

github地址：https://github.com/zhanghuicuc/ffmpeg_camera_streamer


0 0
网络相关法律法规 网络相关法律法规
原创粉丝点击
热门IT博客
老虎机预测软件老虎机预测软件
nginx 重启nginx 重启
马化腾 知乎
php blade模板引擎
百度输入法 编程专用
中兴电视盒子安装软件
自己制作二维码软件
php邀请码怎么生成器
vue seo 优化原理
js获取当前点击对象id
mac如何卸载windows
淘宝上哪家牛排好
php文件上传管理系统
魔兽世界mac怎么玩
php和java的区别2016
初学者怎样学好c语言
淘宝交易管理哪个好用
nginx端口转发配置
linux五笔输入法下载
oracle和mysql的转换
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 人生很迷茫怎么办 英国签证拒签后怎么办 新西兰过境签证怎么办 加拿大过境签怎么办 赴美签证怎么办 怎么办加拿大旅游签证 北京德国签证怎么办 护照换新签证怎么办 出国行李超重怎么办 马尔代夫护照怎么办 马尔代夫签证怎么办 美国留学被拒签怎么办 怎么办美国旅游签证 怎么办法国留学签证 怎么办法国工作签证 德国旅游签证怎么办 欧洲旅游签证怎么办 德国签证被拒签怎么办 澳大利亚旅游签证怎么办 去欧洲怎么办签证 军训后晒黑怎么办 没有防晒霜怎么办 手晒黑了怎么办 阴阳师非洲人怎么办 博士后导师更换怎么办 泰国落地签被拒怎么办 上大学想家怎么办 鞋面发黄怎么办 boost发黄怎么办 黑色布鞋发黄怎么办 帆布鞋鞋边变黄怎么办 nmd鞋底发黄怎么办 帆布鞋白胶变黄怎么办 贝壳鞋头变黄怎么办 帆布鞋变黄了怎么办 亚瑟士网破了怎么办 鞋面氧化发黄怎么办 球鞋网面破了怎么办 aj鞋面发黄怎么办 皮鞋染色怎么办 头发梳不开怎么办

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里