程序博客网 > 淘宝接单软件下载

最简单的基于FFmpeg的AVDevice例子（读取摄像头）

来源：互联网 发布：淘宝接单软件下载 编辑：程序博客网 时间：2024/05/02 01:49
FFmpeg中有一个和多媒体设备交互的类库：Libavdevice。使用这个库可以读取电脑（或者其他设备上）的多媒体设备的数据，或者输出数据到指定的多媒体设备上。
Libavdevice支持以下设备作为输入端：
alsa
avfoundation
bktr
dshow
dv1394
fbdev
gdigrab
iec61883
jack
lavfi
libcdio
libdc1394
openal
oss
pulse
qtkit
sndio
video4linux2, v4l2
vfwcap
x11grab
decklink
Libavdevice支持以下设备作为输出端：
alsa
caca
decklink
fbdev
opengl
oss
pulse
sdl
sndio
xv


libavdevice使用

计划记录两个基于FFmpeg的libavdevice类库的例子，分成两篇文章写。本文记录一个基于FFmpeg的Libavdevice类库读取摄像头数据的例子。下一篇文章记录一个基于FFmpeg的Libavdevice类库录制屏幕的例子。本文程序读取计算机上的摄像头的数据并且解码显示出来。有关解码显示方面的代码本文不再详述，可以参考文章：
《100行代码实现最简单的基于FFMPEG+SDL的视频播放器（SDL1.x）》


本文主要记录使用libavdevice需要注意的步骤。

首先，使用libavdevice的时候需要包含其头文件：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #include "libavdevice/avdevice.h"  
然后，在程序中需要注册libavdevice：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. avdevice_register_all();  

接下来就可以使用libavdevice的功能了。
使用libavdevice读取数据和直接打开视频文件比较类似。因为系统的设备也被FFmpeg认为是一种输入的格式（即AVInputFormat）。使用FFmpeg打开一个普通的视频文件使用如下函数：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. AVFormatContext *pFormatCtx = avformat_alloc_context();  
  2. avformat_open_input(&pFormatCtx, "test.h265",NULL,NULL);  

使用libavdevice的时候，唯一的不同在于需要首先查找用于输入的设备。在这里使用av_find_input_format()完成：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. AVFormatContext *pFormatCtx = avformat_alloc_context();  
  2. AVInputFormat *ifmt=av_find_input_format("vfwcap");  
  3. avformat_open_input(&pFormatCtx, 0, ifmt,NULL);  

上述代码首先指定了vfw设备作为输入设备，然后在URL中指定打开第0个设备（在我自己计算机上即是摄像头设备）。
在Windows平台上除了使用vfw设备作为输入设备之外，还可以使用DirectShow作为输入设备：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. AVFormatContext *pFormatCtx = avformat_alloc_context();  
  2. AVInputFormat *ifmt=av_find_input_format("dshow");  
  3. avformat_open_input(&pFormatCtx,"video=Integrated Camera",ifmt,NULL) ;  

使用ffmpeg.exe打开vfw设备和Directshow设备的方法可以参考文章：
FFmpeg获取DirectShow设备数据（摄像头，录屏）

注意事项

1. URL的格式是"video={设备名称}"，但是设备名称外面不能加引号。例如在上述例子中URL是"video=Integrated Camera"，而不能写成"video=\"Integrated Camera\""，否则就无法打开设备。这与直接使用ffmpeg.exe打开dshow设备（命令为：ffmpeg -list_options true -f dshow -i video="Integrated Camera"）有很大的不同。
2. Dshow的设备名称必须要提前获取，在这里有两种方法：

（1） 通过FFmpeg编程实现。使用如下代码：

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. //Show Device  
  2. void show_dshow_device(){  
  3.     AVFormatContext *pFormatCtx = avformat_alloc_context();  
  4.     AVDictionary* options = NULL;  
  5.     av_dict_set(&options,"list_devices","true",0);  
  6.     AVInputFormat *iformat = av_find_input_format("dshow");  
  7.     printf("Device Info=============\n");  
  8.     avformat_open_input(&pFormatCtx,"video=dummy",iformat,&options);  
  9.     printf("========================\n");  
  10. }  

上述代码实际上相当于输入了下面一条命令：
[plain] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. ffmpeg -list_devices true -f dshow -i dummy    

执行的结果如下图所示：

 

该方法好处是可以使用程序自动获取名称。但是当设备名称中包含中文字符的时候，会出现设备名称为乱码的情况。如果直接把乱码的设备名作为输入的话，是无法打开该设备的。这时候需要把乱码ANSI转换为UTF-8。例如上图中的第一个音频设备显示为“鍐呰楹﹀厠椋?(Conexant 20672 SmartAudi”，转码之后即为“内装麦克风 (Conexant 20672 SmartAudi”。使用转码之后的名称即可打开该设备。


（2） 自己去系统中看。
这个方法更简单一些，但是缺点是需要手工操作。该方法使用DirectShow的调试工具GraphEdit（或者网上下一个GraphStudioNext）即可查看输入名称。
打开GraphEdit选择“图像->插入滤镜”
 
然后就可以通过查看Audio Capture Sources来查看音频输入设备的简体中文名称了。从图中可以看出是“内装麦克风 (Conexant 20672 SmartAudi”。
 


在Linux平台上可以使用video4linux2打开视频设备，这里不再详述。


代码

下面直接贴上程序代码：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. /** 
  2.  * 最简单的基于FFmpeg的AVDevice例子（读取摄像头） 
  3.  * Simplest FFmpeg Device (Read Camera) 
  4.  * 
  5.  * 雷霄骅 Lei Xiaohua 
  6.  * leixiaohua1020@126.com 
  7.  * 中国传媒大学/数字电视技术 
  8.  * Communication University of China / Digital TV Technology 
  9.  * http://blog.csdn.net/leixiaohua1020 
  10.  * 
  11.  * 本程序实现了本地摄像头数据的获取解码和显示。是基于FFmpeg 
  12.  * 的libavdevice类库最简单的例子。通过该例子，可以学习FFmpeg中 
  13.  * libavdevice类库的使用方法。 
  14.  * 本程序在Windows下可以使用2种方式读取摄像头数据： 
  15.  *  1.VFW: Video for Windows 屏幕捕捉设备。注意输入URL是设备的序号， 
  16.  *          从0至9。 
  17.  *  2.dshow: 使用Directshow。注意作者机器上的摄像头设备名称是 
  18.  *         “Integrated Camera”，使用的时候需要改成自己电脑上摄像头设 
  19.  *          备的名称。 
  20.  * 在Linux下则可以使用video4linux2读取摄像头设备。 
  21.  * 
  22.  * This software read data from Computer's Camera and play it. 
  23.  * It's the simplest example about usage of FFmpeg's libavdevice Library.  
  24.  * It's suiltable for the beginner of FFmpeg. 
  25.  * This software support 2 methods to read camera in Microsoft Windows: 
  26.  *  1.gdigrab: VfW (Video for Windows) capture input device. 
  27.  *             The filename passed as input is the capture driver number, 
  28.  *             ranging from 0 to 9. 
  29.  *  2.dshow: Use Directshow. Camera's name in author's computer is  
  30.  *             "Integrated Camera". 
  31.  * It use video4linux2 to read Camera in Linux. 
  32.  *  
  33.  */  
  34.   
  35.   
  36. #include "stdafx.h"  
  37.   
  38. extern "C"  
  39. {  
  40. #include "libavcodec/avcodec.h"  
  41. #include "libavformat/avformat.h"  
  42. #include "libswscale/swscale.h"  
  43. #include "libavdevice/avdevice.h"  
  44.     //SDL  
  45. #include "sdl/SDL.h"  
  46. #include "sdl/SDL_thread.h"  
  47. };  
  48.   
  49. //Output YUV420P   
  50. #define OUTPUT_YUV420P 0  
  51. //'1' Use Dshow   
  52. //'0' Use VFW  
  53. #define USE_DSHOW 0  
  54.   
  55. //Show Device  
  56. void show_dshow_device(){  
  57.     AVFormatContext *pFormatCtx = avformat_alloc_context();  
  58.     AVDictionary* options = NULL;  
  59.     av_dict_set(&options,"list_devices","true",0);  
  60.     AVInputFormat *iformat = av_find_input_format("dshow");  
  61.     printf("Device Info=============\n");  
  62.     avformat_open_input(&pFormatCtx,"video=dummy",iformat,&options);  
  63.     printf("========================\n");  
  64. }  
  65.   
  66. //Show Device Option  
  67. void show_dshow_device_option(){  
  68.     AVFormatContext *pFormatCtx = avformat_alloc_context();  
  69.     AVDictionary* options = NULL;  
  70.     av_dict_set(&options,"list_options","true",0);  
  71.     AVInputFormat *iformat = av_find_input_format("dshow");  
  72.     printf("Device Option Info======\n");  
  73.     avformat_open_input(&pFormatCtx,"video=Integrated Camera",iformat,&options);  
  74.     printf("========================\n");  
  75. }  
  76.   
  77. //Show VFW Device  
  78. void show_vfw_device(){  
  79.     AVFormatContext *pFormatCtx = avformat_alloc_context();  
  80.     AVInputFormat *iformat = av_find_input_format("vfwcap");  
  81.     printf("VFW Device Info======\n");  
  82.     avformat_open_input(&pFormatCtx,"list",iformat,NULL);  
  83.     printf("=====================\n");  
  84. }  
  85.   
  86.   
  87.   
  88. int main(int argc, char* argv[])  
  89. {  
  90.   
  91.     AVFormatContext *pFormatCtx;  
  92.     int             i, videoindex;  
  93.     AVCodecContext  *pCodecCtx;  
  94.     AVCodec         *pCodec;  
  95.       
  96.     av_register_all();  
  97.     avformat_network_init();  
  98.     pFormatCtx = avformat_alloc_context();  
  99.       
  100.     //Open File  
  101.     //char filepath[]="src01_480x272_22.h265";  
  102.     //avformat_open_input(&pFormatCtx,filepath,NULL,NULL)  
  103.   
  104.     //Register Device  
  105.     avdevice_register_all();  
  106.     //Show Dshow Device  
  107.     show_dshow_device();  
  108.     //Show Device Options  
  109.     show_dshow_device_option();  
  110.     //Show VFW Options  
  111.     show_vfw_device();  
  112. //Windows  
  113. #ifdef _WIN32  
  114. #if USE_DSHOW  
  115.     AVInputFormat *ifmt=av_find_input_format("dshow");  
  116.     //Set own video device's name  
  117.     if(avformat_open_input(&pFormatCtx,"video=Integrated Camera",ifmt,NULL)!=0){  
  118.         printf("Couldn't open input stream.（无法打开输入流）\n");  
  119.         return -1;  
  120.     }  
  121. #else  
  122.     AVInputFormat *ifmt=av_find_input_format("vfwcap");  
  123.     if(avformat_open_input(&pFormatCtx,"0",ifmt,NULL)!=0){  
  124.         printf("Couldn't open input stream.（无法打开输入流）\n");  
  125.         return -1;  
  126.     }  
  127. #endif  
  128. #endif  
  129. //Linux  
  130. #ifdef linux  
  131.     AVInputFormat *ifmt=av_find_input_format("video4linux2");  
  132.     if(avformat_open_input(&pFormatCtx,"/dev/video0",ifmt,NULL)!=0){  
  133.         printf("Couldn't open input stream.（无法打开输入流）\n");  
  134.         return -1;  
  135.     }  
  136. #endif  
  137.   
  138.   
  139.     if(avformat_find_stream_info(pFormatCtx,NULL)<0)  
  140.     {  
  141.         printf("Couldn't find stream information.（无法获取流信息）\n");  
  142.         return -1;  
  143.     }  
  144.     videoindex=-1;  
  145.     for(i=0; i<pFormatCtx->nb_streams; i++)   
  146.         if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO)  
  147.         {  
  148.             videoindex=i;  
  149.             break;  
  150.         }  
  151.     if(videoindex==-1)  
  152.     {  
  153.         printf("Couldn't find a video stream.（没有找到视频流）\n");  
  154.         return -1;  
  155.     }  
  156.     pCodecCtx=pFormatCtx->streams[videoindex]->codec;  
  157.     pCodec=avcodec_find_decoder(pCodecCtx->codec_id);  
  158.     if(pCodec==NULL)  
  159.     {  
  160.         printf("Codec not found.（没有找到解码器）\n");  
  161.         return -1;  
  162.     }  
  163.     if(avcodec_open2(pCodecCtx, pCodec,NULL)<0)  
  164.     {  
  165.         printf("Could not open codec.（无法打开解码器）\n");  
  166.         return -1;  
  167.     }  
  168.     AVFrame *pFrame,*pFrameYUV;  
  169.     pFrame=avcodec_alloc_frame();  
  170.     pFrameYUV=avcodec_alloc_frame();  
  171.     uint8_t *out_buffer=(uint8_t *)av_malloc(avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));  
  172.     avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);  
  173.     //SDL----------------------------  
  174.     if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {    
  175.         printf( "Could not initialize SDL - %s\n", SDL_GetError());   
  176.         return -1;  
  177.     }   
  178.     int screen_w=0,screen_h=0;  
  179.     SDL_Surface *screen;   
  180.     screen_w = pCodecCtx->width;  
  181.     screen_h = pCodecCtx->height;  
  182.     screen = SDL_SetVideoMode(screen_w, screen_h, 0,0);  
  183.   
  184.     if(!screen) {    
  185.         printf("SDL: could not set video mode - exiting:%s\n",SDL_GetError());    
  186.         return -1;  
  187.     }  
  188.     SDL_Overlay *bmp;   
  189.     bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height,SDL_YV12_OVERLAY, screen);   
  190.     SDL_Rect rect;  
  191.     //SDL End------------------------  
  192.     int ret, got_picture;  
  193.   
  194.     AVPacket *packet=(AVPacket *)av_malloc(sizeof(AVPacket));  
  195.     //Output Information-----------------------------  
  196.     printf("File Information（文件信息）---------------------\n");  
  197.     av_dump_format(pFormatCtx,0,NULL,0);  
  198.     printf("-------------------------------------------------\n");  
  199.   
  200. #if OUTPUT_YUV420P   
  201.     FILE *fp_yuv=fopen("output.yuv","wb+");    
  202. #endif    
  203.   
  204.     struct SwsContext *img_convert_ctx;  
  205.     img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);   
  206.     //------------------------------  
  207.     while(av_read_frame(pFormatCtx, packet)>=0)  
  208.     {  
  209.         if(packet->stream_index==videoindex)  
  210.         {  
  211.             ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);  
  212.             if(ret < 0)  
  213.             {  
  214.                 printf("Decode Error.（解码错误）\n");  
  215.                 return -1;  
  216.             }  
  217.             if(got_picture)  
  218.             {  
  219.                 sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  220.                   
  221. #if OUTPUT_YUV420P  
  222.                 int y_size=pCodecCtx->width*pCodecCtx->height;    
  223.                 fwrite(pFrameYUV->data[0],1,y_size,fp_yuv);    //Y   
  224.                 fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv);  //U  
  225.                 fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv);  //V  
  226. #endif  
  227.                 SDL_LockYUVOverlay(bmp);  
  228.                 bmp->pixels[0]=pFrameYUV->data[0];  
  229.                 bmp->pixels[2]=pFrameYUV->data[1];  
  230.                 bmp->pixels[1]=pFrameYUV->data[2];       
  231.                 bmp->pitches[0]=pFrameYUV->linesize[0];  
  232.                 bmp->pitches[2]=pFrameYUV->linesize[1];     
  233.                 bmp->pitches[1]=pFrameYUV->linesize[2];  
  234.                 SDL_UnlockYUVOverlay(bmp);   
  235.                 rect.x = 0;      
  236.                 rect.y = 0;      
  237.                 rect.w = screen_w;      
  238.                 rect.h = screen_h;    
  239.                 SDL_DisplayYUVOverlay(bmp, &rect);   
  240.                 //Delay 40ms  
  241.                 SDL_Delay(40);  
  242.             }  
  243.         }  
  244.         av_free_packet(packet);  
  245.     }  
  246.     sws_freeContext(img_convert_ctx);  
  247.   
  248. #if OUTPUT_YUV420P   
  249.     fclose(fp_yuv);  
  250. #endif   
  251.   
  252.     SDL_Quit();  
  253.   
  254.     av_free(out_buffer);  
  255.     av_free(pFrameYUV);  
  256.     avcodec_close(pCodecCtx);  
  257.     avformat_close_input(&pFormatCtx);  
  258.   
  259.     return 0;  
  260. }  



结果

程序的运行效果如下。输出了摄像头的数据。


可以通过代码定义的宏来确定是否将解码后的YUV420P数据输出成文件：
[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #define OUTPUT_YUV420P 0  


SourceForge项目主页：

https://sourceforge.net/projects/simplestffmpegdevice/

CSDN项目下载地址：

http://download.csdn.net/detail/leixiaohua1020/7994049


注：

 本工程包含两个基于FFmpeg的libavdevice的例子：
 simplest_ffmpeg_grabdesktop：屏幕录制。
 simplest_ffmpeg_readcamera：读取摄像头。

原文链接:http://blog.csdn.net/leixiaohua1020/article/details/39702113


http://doc.okbase.net/leixiaohua1020/archive/103091.html
0 0
淘宝接单软件下载 淘宝接单软件下载
原创粉丝点击
热门IT博客
网络游戏数据能修改吗网络游戏数据能修改吗
slice jquery数组slice jquery数组
网络对青少年的危害
教师研修网络平台
什么是数据流程分析
mysql 5.7.20
淘宝客发单机器人下载
stc89c52单片机结构
sony 刷机软件
js内存泄漏
淘宝加群半价是真的吗
c十十语言范磊视频教程
青岛c语言培训班
淘宝返利最高返多少
linux open内核源码
网络直播产业链
比特精灵 for mac
杨锦荣 知乎
看视频的软件
数据联邦
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 打包带编篮子方法图解 篮子什么意思 狗篮子是什么意思 怎么编篮子的步骤 东北话篮子是什么意思 篮子英语怎么说 篮子皮痒是怎么回事 篮子皮上长疙瘩 旧报纸编篮子 塑料条编篮子 蓝子 脏衣服收纳筐 菜篮网 菜篮子 菜蓝 菜篮图片 菜篮子网 菜篮网郑州 蓝子是什么意思 脏衣篓怎么折叠 脏衣篓 包装带编四方篮子图解 星露谷物语黑莓篮子 篮光 篮球分析推荐 竞猜篮球推荐 篮球预测 篮球预测分析 篮球推荐分析 推荐篮球 篮板青春 篮板高度 篮板 aj扣碎篮板 扣碎篮板 篮板多高 aj1扣碎篮板 抢篮板 篮板球 什么是篮板 篮板尺寸

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里