WebRTC的视频传输的大致流程

来源:互联网 发布:苹果看图软件 编辑:程序博客网 时间:2024/06/07 05:59

首先介绍一下WebRTC的视频传输的大致流程,摄像头在一端拍下图片,然后编码,通过RTP传输给另一端,另一端接收到图片后,解码,最后显示到屏幕上。该过程反复进行就实现了端对端的视频通信。

这里重点介绍一下编码和解码,Google实现的WebRTC只支持VP8编解码,不支持当今流行的H264(由于专利费用问题),VP8编码是Google开发的一种编码,已经开源了,开发者可以免费使用,更多信息可以参考http://www.webmproject.org/code/

在Android平台上WebRTC的视频编解码共有三种方案,即调用第三方编解码库(libvpx)和调用Android平台上的MediaCodec编解码,而MediaCodec编解码又可细分为两种,其一是MediaCodec的软件解码,其二是真正的GPU硬件加速编解码。MediaCodec采用软件或硬件编解码取决于平台GPU有没有实现VP8的编解码,如果平台支持,MediaCodec自然就会调用硬件去加速编解码,否则MediaCodec就会调用软件的编解码来完成。据写本文为止,只有三星的Nexus10支持VP8的硬件解码。至于VP8的硬件编码,目前还没有厂商支持,因为VP8的解码除了WebRTC需要之外,播放VP8编码的视频也可以受益,而VP8的硬件编码只有WebRTC有该需求,所以厂商在支持解码比编码的动力更强一些。在WebRTC实现的早期阶段(chrome 30之前),Android平台上都是采用第一种方式(调用libvpx)来完成编解码的。在chrome 31及其以后就会调用平台自带的MediaCodec完成编解码。

下面介绍一下这三种解码的效率如何:采用MediaCodec的硬件加速解码与libvpx相比,fps没有明显的变化保持在28左右,但是cpu的利用率可以减少一半,这样就可以解放CPU去执行其他的任务,UI响应会更及时,带来更好的用户体验。
0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 公司调岗员工不同意怎么办 acca注册一直在审核怎么办 ieee ap二审被拒怎么办 文章投到假期刊怎么办 论文投了假网站怎么办 网上传了虚假的怎么办? 网上做兼职被骗了钱怎么办 通过支付宝扫码被骗了怎么办 支付宝扫二维码被骗怎么办 在is上被骗了怎么办 微信兼职被骗怎么办天涯论坛 公众号不给稿费怎么办 围绕服务改善民生提出怎么办 翰墨香林苑怎么办全产权 西城高铁联名卡怎么办 英语教学系统做题时超时了怎么办 sci被要求撤稿怎么办 论文投稿后初审通过想撤稿怎么办 河南大学读写译挂了怎么办 在职mba双证硕士怎么办户口 电脑开机了出现一些英文单词怎么办 不懂法语想读法语书怎么办 大鱼号文章需要修改怎么办 过了上诉期怎么办申诉 法院判刑后被告逃亡监护人怎么办 二审判决后不服的怎么办 对树木对生物花草过敏怎么办 高一英语成绩差怎么办 文章被同时录用该怎么办 来不及开ei检索证明怎么办 淘宝生产许可编号一定要填怎么办 官网下单被砍单怎么办美卡美私 大学网络课程挂了怎么办 如果二审超过6个月还不判怎么办? sci的proof时间超了怎么办 合肥电大考试没过怎么办 社保账号密码忘记了怎么办 住房公积金账号密码忘记了怎么办 燃气费单子丢了怎么办 商标初审公告期内被异议怎么办 手被山药痒了怎么办