音视频同步、网络抖动
来源:互联网 发布:php 自动化部署 编辑:程序博客网 时间:2024/05/16 23:47
今天在一个流媒体群里,看到一个大神分享自己解决网络抖动、音视频同步的方法,记录一下学习学习。
注:时间是用的相对时间戳,则时间越小播放越快,注释很明白相信大家一看就明白了。
////变量名称static int m_timer_realtime_video ; //每一次回调渲染数据定时器时间,可根据时间戳变化,毫秒static long long m_audio_list_node_pts; //当前从pcm的list中取出的时间最新 //解决网络抖动问题static long long m_audio_openal_pts; //音频当前正在播放时间戳 //解决网络抖动问题//存放解码后yuv数据的liststatic list<Raw_data_yuv> m_list_Raw_data_yuv;//存放解码后pcm数据的liststatic list<Raw_data_pcm> m_list_Raw_data_pcm;
优化版本
音视频同步
//具体算法
见大神博客http://blog.csdn.net/zhuweigangzwg/article/details/59528378
//得到当前音频从包里拿出的pts减去第一帧pts所得时间再减去openal缓存的时间。//解决网络抖动问题long long m_audio_real_pts = (m_audio_list_node_pts - m_first_audio_pts) - lvs_openal_getnumqueuedsize_realpts();int delay = 0;int diff = 0;;//算出一帧视频本应该显示的时间delay = 40;// update delay to sync to audio long long video_real_pts = yuv_data_node.pts - m_first_video_pts;printf("yuv_data_node.ActualLen : %lld video_real_pts :%lld\n",yuv_data_node.ActualLen,video_real_pts);//音频过快大于200毫秒 并且有音频存在的情况下 ,以及音频队列或缓存不为传输中间空 //解决网络抖动问题if (m_audio_real_pts - video_real_pts > 200 && m_isfind_first_audio_pts == 1 && (m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 )){m_timer_realtime_video = 1;}//视频过快大于200毫秒 并且有音频存在的情况下,以及音频队列或缓存不为传输中间空 //解决网络抖动问题else if (video_real_pts - m_audio_real_pts > 200 && m_isfind_first_audio_pts ==1 &&(m_list_Raw_data_pcm.size() != 0 || lvs_openal_getnumqueuedsize() != 0 )){m_timer_realtime_video = delay* 5; //如果 视频显示过快 则停留 5帧的时间}else{diff = video_real_pts - m_audio_openal_pts; if(abs(diff) < AV_NOSYNC_THRESHOLD) //求浮点数x的绝对值{if(diff <= -delay) {delay = 10; //如果 视频显示过慢,离音频 过于远 则 显示时间为10ms} else if(diff >= delay){delay = 2 * delay; //如果 视频显示过快 则停留 两帧的时间}}m_timer_realtime_video = delay;}
顺便请教了大神一些问题。下面是我整理的大神的分享。
当播放器接入服务器播放的时候不一定每次都切到I帧, 一旦产生切到P帧或者B帧的时候会出现花屏或者黑屏的情况,甚至播不出来。这时候就有两个方案来处理这个问题。
1:帧精确
2:fastpaly
2:fastpaly
帧精确好理解 就是把一个gop切到的重新编码,即服务器把切到的P帧再重新编码为I帧,再下发但这样效率会很低
更多的 更好的是才用第二种
比如一个gop 25帧,你播放器切到了第10帧 是个p帧,整个gop从i帧到你切的这个p帧数据一定要照常发送才能解码出来不花屏。但最核心的是要改这个gop的时间戳 ,从i帧到这个切的p帧 。假设你切的这个p帧时间戳是100,那前面的10帧就是90 91 ....100,这就是fastpaly,既解决延迟 又解决花屏,即修改当前gop中的I帧到切换的P帧中的所有帧的时间,服务器端默认都会缓冲一个gop的。
比如一个gop 25帧,你播放器切到了第10帧 是个p帧,整个gop从i帧到你切的这个p帧数据一定要照常发送才能解码出来不花屏。但最核心的是要改这个gop的时间戳 ,从i帧到这个切的p帧 。假设你切的这个p帧时间戳是100,那前面的10帧就是90 91 ....100,这就是fastpaly,既解决延迟 又解决花屏,即修改当前gop中的I帧到切换的P帧中的所有帧的时间,服务器端默认都会缓冲一个gop的。
例如开源的srs 服务器 在 src/app/srs_app_source.h中有个 SrsGopCache类进行gop缓冲,SrsRtmpJitter进行时间戳抖动处理,如果需要大家可以去看看。
0 0
- 音视频同步、网络抖动
- 播放器音视频同步及网络抖动解决方案
- 播放器音视频同步及网络抖动解决方案
- 音视频技术 视频抖动优化
- 音视频技术 视频抖动优化
- 网络抖动
- 消除视频抖动
- OPENCV视频去抖动
- 视频抖动问题
- 视频抖动检测方法
- rtp,rtcp网络音视频写入(avi)文件,音视频同步方案
- 音视频同步解决方案
- 音视频同步专题
- 音视频同步
- DirectShow音视频同步
- 音视频同步 摘抄
- 音视频同步解决方案
- 音视频同步
- GYM 100247 I. Meteor Flow(贪心)
- HDU2883kebab(离散化+最大流_任务分配)
- 获取当前时间和星期
- 数据库30条军规解读
- 参数文件GinsengSharedPerferences
- 音视频同步、网络抖动
- 深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0
- window.location.reload();页面实现跳转和刷新
- js中关于url中的参数判断
- android开机启动shell脚本
- Spring MVC Flash Attribute 的讲解与使用示例
- Linux哲学思想
- MFC 对话框实现 背景色渐变
- 我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻。