OBS源码分析--视频采集显示
来源:互联网 发布:推荐知乎有趣的话题 编辑:程序博客网 时间:2024/05/28 16:08
OBS如何进行初始化视频采集的:
首先,在OBS的初始化程序中,会调用ResetVideo==>AttemptToResetVideo==>obs_reset_video==>obs_init_video==>video_output_open==>if (pthread_create(&out->thread, NULL, video_thread, out) != 0)
最后创建了video_thread,我们看看video_thread线程的处理流程:
在video_thread中,一直等待update_semaphore后,这个信号应该是采集到视频图像后post出来的;
obs_video_thread==>output_frame==>output_video_data==>video_output_unlock_frame==>update_semaphore;
可以看到在obs_video_thread线程中,通知video_thread线程对采集的数据编码推流;
后面再分析具体分析下obs_video_thread线程,先看看win-dshow如何采集视频的:
首先在win-dshow.cpp中主要实现音视频采集功能:
通过UpdateVideoConfig中注册OnVideoData函数,UpdateVideoConfig在
device.cpp中,用dshow接口会调用HDevice::Receive接口将获取的音视频回调,
在device.cpp中,SetupVideoCapture,而在这个函数中会调用:
videoCapture = new CaptureFilter(info);
初始化一个采集过滤器,videoCapture对象中包含了一个pin的成员对象,该成员对象实现了Receive函数:
STDMETHODIMP CapturePin::Receive(IMediaSample *pSample)
{
if (flushing)
return S_FALSE;
if (pSample)
captureInfo.callback(pSample);
return S_OK;
}
在SetupVideoCapture中会调用下面语句注册接收回调:
info.callback = [this] (IMediaSample *s) {Receive(true, s);};
在device的Receive处理函数中,首先通过GetPointer获取到数据指针,然后调用GetTime获取数据的时间,再调用SendToCallback传到device的videoConfig.callback中处理,而videoConfig.callback是在UpdateVideoConfig中被注册的,后面再详细看这个接口如何被调用的;
好了,现在已经大概了解了流程了:
device.cpp中通过SetupVideoCapture注册回调,然后Receive回调中通过SendToCallback将采集的数据发送到videoConfig.callback中处理;
videoConfig.callback注册的其实是一个叫OnVideoData的回调函数:
在OnVideoData中调用obs_source_output_video(source, &frame);将采集的数据传到DShowInput的source的async_cache和async_frames中;
然后source->async_active = true;将异步队列置为活跃状态;
好了,数据已经采集,并放到队列里面了,下面怎么送去显示,编码呢?
obs-source.c中,有两个关键函数:
get_closest_frame
obs_source_get_frame
及一个关键变量:
cur_async_frame
在win-dshow中将采集到的音视频数据存入source的async_frames中后,通过obs_video_thread线程,每隔一段时间调用get_closest_frame从source的
async_frames中获取到最近的帧,然后放到source的cur_async_frame指针中,obs_source_get_frame函数就是获取cur_async_frame返回;
obs_source_get_frame被obs_source_update_async_video调用;
在obs_source_update_async_video中,会先给帧加上滤镜特效(filter_async_video),然后
set_async_texture_size函数好像是执行绘画系统的初始化,接着update_async_texture中调用update_async_texrender进行图像绘制,
update_async_texrender会调用upload_raw_frame和gs_texture_set_image设置好绘制的图像信息,后面的绘制详细过程,需要了解d3d11及opengl,这里后面再研究吧;
通过查看update_async_texture调用的位置可以发现,其实source结构中还包含了绘制结构描述,async_texture和async_texrender;
我们回过头来看obs_source_update_async_video函数,它是在render_video中被调用的,而render_video的参数只有一个source,该函数应该就是负责数据源的绘制的;
而render_video在output_frame中被调用,如上面分析output_frame也在obs_video_thread中被调用;
现在再回头捋一捋obs_video_thread的流程:
1、调用tick_sources获取捕获的视频帧cur_async_frame;
2、调用render_display进行绘制,通过一系列回调(通过obs_display_add_draw_callback加入display中),最终绘制时在render_video函数中执行;
3、调用output_frame,通过output_video_data告知video_thread新数据到来;
video_thread线程中:
1、等到数据到来,最终调用receive_video函数进行编码,receive_video中调用do_encode对数据进行编码,然后在do_encode中还调用send_packet对数据执行发送;
- OBS源码分析--视频采集显示
- OBS源码阅读笔记(四)--视频采集显示
- obs源码分析
- OBS源码分析之rtmp
- OBS源码分析之render_video处理流程
- 视频采集显示分辨率
- WebRTC源码分析1视频显示
- WebRTC源码分析1视频显示
- WebRTC源码分析1视频显示
- 视频采集与检测源码
- win音视频--Dshow视频采集显示
- OBS编译源码包
- OBS源码阅读 --RTMP
- obs源码阅读链接
- obs源码编译
- OBS源码阅读
- OBS源码修改小记
- OBS源码编译
- java-模拟斗地主的洗牌和发牌
- socket通信基础(二)
- 在Android Studio中创建能调用C/C++函数的APK
- canvas和svg
- 【转】Java线程:新特征-锁(1)
- OBS源码分析--视频采集显示
- 七牛云上传
- struts2+spring4.0+hibernate4三大框架的结合,关于struts.xml的存放位置问题
- Android属性动画--TypeEvaluator
- ant design (antd) FormItem getFieldDecorator Checkbox 无法选中的解决方案
- 删除文件或文件夹的方法
- 从二维点集重建平面形状-浅议凹包算法
- 搜索--17
- caffe 有关prototxt文件的设置解读