【WebRTC】NetEQ概述
来源:互联网 发布:淘宝上哪款悠悠球 编辑:程序博客网 时间:2024/05/19 18:44
本博客转载于:http://blog.csdn.net/boywgw/article/details/48311987#comments
WebRTC由语音引擎,视频引擎和网络传输三大模块组成,其中语音引擎是WebRTC中最具价值的技术之一。
WebRTC语音引擎由一系列音频和网络处理模块组成,包括了从音频采集到网络传输等处理流程的完整解决方案。
语音引擎工作流程图
语音引擎的一般工作流程如下:
1.发起端进行声音采集
2.采集到的声音信号进行回声消除,噪音抑制,自动增益控制处理
3.语音压缩编码
4.通过Internet网路传输到接收端
5.到达接收端,先进入NetEQ模块进行抖动消除,丢包隐藏解码等操作
6.将处理过后的音频数据送入声卡设备进行播放
NetEQ模块是Webrtc语音引擎中的核心模块
NetEQ模块框图
从上图看,NetEQ模块基本上分为:自适应缓冲器(Adaptive Packet Buffer),语音解码器(Speech Decoder),抖动控制和丢包隐藏(Jitter Control and Error Concealment) 以及播放(Play Out)四大部分。其中抖动控制和丢包隐藏模块是NetEQ的核心算法,既控制着自适应缓冲器,又与解码器进行紧密的交互,并且将最终的计算结果交给声卡去播放。
WebRTC的语音引擎在运行时会启动两个线程:一个线程用于接收来自于网络的数据包,并将其插入到抖动缓冲区中;另外一个线程每隔10ms从NetEQ中提取10ms语音数据进行播放。
网络数据包进入抖动缓冲区的过程在:
提取10ms语音数据到声卡的过程在:
阅读全文
0 0
- 【WebRTC】NetEQ概述
- 【WebRTC】NetEQ概述
- Webrtc Intro - NetEQ
- WebRTC NetEQ 音频引擎
- WebRTC中的NETEQ技术的研究
- WebRTC 初览(1) 概述
- NetEQ 算法
- WebRTC音频处理流程概述
- 【WebRTC】音频处理流程概述
- WebRTC音频处理流程概述
- WebRTC音频处理流程概述
- WebRTC音频处理流程概述
- WebRTC音频处理流程概述
- WebRTC APM音频处理流程概述
- WebRTC实时通信系列教程2 概述
- WebRTC
- WebRTC
- WEBRTC
- 使用公共 Registry
- 并发,同步,异步,互斥,阻塞,非阻塞的理解
- 网络流
- Android 平台版本和API 级别的对应关系
- 自定义列表,带你学习View
- 【WebRTC】NetEQ概述
- POJ3140【树形DP】
- 2017 计蒜之道 初赛 第一场 阿里的天池任务(简单)
- Java调用热敏票据打印机打印小票
- RELU 激活函数及其他相关的函数
- 树形结构
- 表结构 shopnc
- poj3126(bfs)
- 《深入理解Java虚拟机》个人读书总结——垃圾收集/回收算法