音视频应用技术（即时通讯）

原文链接：http://www.verydemo.com/demo_c290_i11.html

当我们使用像Skype、QQ这样的工具和朋友流畅地进行语音视频聊天时，我们可曾想过其背后有哪些强大的技术在支撑？网络语音通话通常是双向的，就模型层面来说，这个双向是对称的。为了简单起见，我们讨论一个方向的通道就可以了。一方说话，另一方则听到声音。看似简单而迅捷，但是其背后的流程却是相当复杂的。    

语音采集

语音采集指的是从麦克风采集音频数据，即声音样本转换成数字信号。其涉及到几个重要的参数：采样频率、采样位数、声道数。

简单的来说：采样频率，就是在1秒内进行采集动作的次数；采样位数，就是每次采集动作得到的数据长度。

而一个音频帧的大小就等于：（采样频率×采样位数×声道数×时间）/8。     

通常一个采样帧的时长为10ms，即每10ms的数据构成一个音频帧。假设：采样率16k、采样位数16bit、声道数1，那么一个10ms的音频帧的大小为：（16000*16*1*0.01）/8 = 320 字节。计算式中的0.01为秒，即10ms。

 编码

 

假设我们将采集到的音频帧不经过编码，而直接发送，那么我们可以计算其所需要的带宽要求，仍以上例：320*100 =32KBytes/s，如果换算为bits/s，则为256kb/s。这是个很大的带宽占用。而通过网络流量监控工具，我们可以发现采用类似QQ等IM软件进行语音通话时，流量为3-5KB/s，这比原始流量小了一个数量级。而这主要得益于音频编码技术。

所以，在实际的语音通话应用中，编码这个环节是不可缺少的。目前有很多常用的语音编码技术，像G.729、iLBC、AAC、SPEEX等等。

 

网络传送

 

当一个音频帧完成编码后，即可通过网络发送给通话的对方。对于语音对话这样Realtime应用，低延迟和平稳是非常重要的，这就要求我们的网络传送非常顺畅。

 

解码

当对方接收到编码帧后，会对其进行解码，以恢复成为可供声卡直接播放的数据。    

 

语音播放

完成解码后，即可将得到的音频帧提交给声卡进行播放。

 

如果仅仅依靠上述的技术就能实现一个效果良好的应用于广域网上的语音对话系统，那就没什么太大的必要来撰写此文了。正是有很多现实的因素为上述的概念模型引入了众多挑战，使得网络语音系统的实现不是那么简单，其涉及到很多专业技术。当然，这些挑战大多已经有了成熟的解决方案。首先，我们要为“效果良好”的语音对话系统下个定义，我觉得应该达到如下几点：

（1）低延迟。只有低延迟，才能让通话的双方有很强的Realtime的感觉。当然，这个主要取决于网络的速度和通话双方的物理位置的距离，就单纯软件的角度，优化的可能性很小。

（2）背景噪音小。

（3）声音流畅、没有卡、停顿的感觉。

（4）没有回音。

 

下面我们就逐个说说实际网络语音对话系统中额外用到的技术。

 

回音消除 AEC

现在大家几乎都已经都习惯了在语音聊天时，直接用PC或笔记本的声音外放功能。殊不知，这个小小的习惯曾为语音技术提出了多大的挑战。当使用外放功能时，扬声器播放的声音会被麦克风再次采集，传回给对方，这样对方就听到了自己的回音。所以，实际应用中，回音消除的功能是必需的。

在得到采集的音频帧后，在编码之前的这个间隙，是回音消除模块工作的时机。     

其原理简单地来说就是，回音消除模块依据刚播放的音频帧，在采集的音频帧中做一些类似抵消的运算，从而将回声从采集帧中清除掉。这个过程是相当复杂的，而且其还与你聊天时所处的房间的大小、以及你在房间中的位置有关，因为这些信息决定了声波反射的时长。 智能的回音消除模块，能动态调整内部参数，以最佳适应当前的环境。

 

噪声抑制 DENOISE

 

噪声抑制又称为降噪处理，是根据语音数据的特点，将属于背景噪音的部分识别出来，并从音频帧中过滤掉。有很多编码器都内置了该功能。

 

抖动缓冲区 JitterBuffer

抖动缓冲区用于解决网络抖动的问题。所谓网络抖动，就是网络延迟一会大一会小，在这种情况下，即使发送方是定时发送数据包的（比如每100ms发送一个包），而接收方的接收就无法同样定时了，有时一个周期内一个包都接收不到，有时一个周期内接收到好几个包。如此，导致接收方听到的声音就是一卡一卡的。

JitterBuffer工作于解码器之后，语音播放之前的环节。即语音解码完成后，将解码帧放入JitterBuffer，声卡的播放回调到来时，从JitterBuffer中取出最老的一帧进行播放。     

JitterBuffer的缓冲深度取决于网络抖动的程度，网络抖动越大，缓冲深度越大，播放音频的延迟就越大。所以，JitterBuffer是利用了较高的延迟来换取声音的流畅播放的，因为相比声音一卡一卡来说，稍大一点的延迟但更流畅的效果，其主观体验要更好。

当然，JitterBuffer的缓冲深度不是一直不变的，而是根据网络抖动程度的变化而动态调整的。当网络恢复到非常平稳通畅时，缓冲深度会非常小，这样因为JitterBuffer而增加的播放延迟就可以忽略不计了。

 

静音检测 VAD

 

在语音对话中，要是当一方没有说话时，就不会产生流量就好了。静音检测就是用于这个目的的。静音检测通常也集成在编码模块中。静音检测算法结合前面的噪声抑制算法，可以识别出当前是否有语音输入，如果没有语音输入，就可以编码输出一个特殊的的编码帧（比如长度为0）。

特别是在多人视频会议中，通常只有一个人在发言，这种情况下，利用静音检测技术而节省带宽还是非常可观的。

 

混音算法

 

在多人语音聊天时，我们需要同时播放来自于多个人的语音数据，而声卡播放的缓冲区只有一个，所以，需要将多路语音混合成一路，这就是混音算法要做的事情。即使，你可以想办法绕开混音而让多路声音同时播放，那么对于回音消除的目的而言，也必需混音成一路播放，否则，回音消除最多就只能消除多路声音中的某一路。

混音可以在客户端进行，也可以在服务端进行（可节省下行的带宽）。如果使用了P2P通道，那么混音就只能在客户端进行了。如果是在客户端混音，通常，混音是播放之前的最后一个环节。

AnyChat是国内知名音视频互动开发平台，经过长达六年之久的广泛应用和复杂化环境的检测，AnyChat SDK系统在兼容性、安全性、稳定性、易用性方面具有较高的声誉。

 产品跨平台

 

AnyChat支持跨平台的应用，服务器支持Windows、Linux、Unix等所有主流服务器操作系统，客户端目前支持Windows、Linux（x86、ARM）以及Windows Mobile、Android、iPhone平台等，目前正在研发Win Phone7等平台。AnyChat的跨平台特性，为客户提供了广阔的应用空间，如实现Windows桌面用户的语音视频交互的同时，还可以定制嵌入式硬件解决方案，实现嵌入式硬件与Windows桌面应用的互联互通，在部队远程指挥、政府应急系统、数字化家庭、移动视频监控、专家咨询、在线客服、呼叫中心以及移动音视频采集等领域有广泛的应用空间。

视频技术

 

 AnyChat采用国际领先的视频编码标准H.264（MPEG-4 part 10 AVC /H.264）编码，H.264/AVC 在压缩效率方面有着特殊的表现，一般情况下达到 MPEG-2 及 MPEG-4 简化类压缩效率的大约 2 倍。H.264具有许多与旧标准不同的新功能，它们一起实现了编码效率的提高。特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。

采用先进去马赛克技术，保障在视频通讯过程中不出现花屏、马赛克等现象。

 音频技术

 

 AnyChat采用先进的AAC（Advanced Audio Coding）语音编码体系，AAC是 MPEG1/2 Audio 的下一代有损音频编码, 并且是 MPEG-4 使用的音频编码，AAC采用了感知子带技术(perceptual sub-band technology)，与MP3等其它编码器相比，AAC编码器很大程度地改善了数据压缩率和声音品质。

 全面支持静音检测（VAD）、噪音抑制（NS）、自动增益（AGC）以及回音消除（AEC）等音效处理，极大提高用户体验。

 P2P技术

 

 AnyChat针对可不经过服务器中转的音视频应用，采用了P2P通信技术，该技术的核心在于防火墙的穿越。使用P2P通信技术，可以大大的减轻系统服务器的负荷，并成几何倍数的扩大系统的容量，且并不会因为在线用户数太多而导致服务器的网络阻塞。

 支持UPNP协议，自动搜索网络中的UPNP设备，主动打开端口映射，提高P2P通信效率。

 高性能网络核心

 

 AnyChat服务器模块采用完成端口实现高性能的系统架构，采用重叠I/O机制，通过线程池和缓冲池的管理，极高的优化了系统结构，提高了系统的性能。特别是在多CPU的服务器上，AnyChat服务器更能发挥服务器多处理器的优势。

 AnyChat采用佰锐科技拥有自主知识产权的“MultiPath”P2P网络路由算法，将服务器上的用户组成一个P2P互通的网络，流媒体数据在用户之间传递，减少对服务器的网络带宽占用，实现了一个高性能P2P网络核心。

 传统的P2P网络应用（如P2P在线影院）所采用的算法需要长时间（如30秒，或更长）的缓冲，不适合即时通讯领域所要求的低延迟的目标，“MultiPath”P2P网络路由算法便是针对即时通讯领域专门设计的P2P网络算法，它保留了P2P网络原有的网络带宽优势，同时又极大的降低了中间的缓冲时间。 

 

开放的接口

 

AnyChat SDK分为客户端SDK和AnyChat Server SDK两大部分，其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能，而服务器SDK主要实现业务层逻辑控制，以及与第三方平台的互联等。客户端SDK和服务器SDK均支持C++、C#、VB.Net以及Delphi等开发语言。AnyChat SDK采用模块化技术体系，良好的平台兼容性与可扩展性，丰富的API函数，为上层应用提供了开放的应用接口。

AnyChat内核开放CODEC接口，支持集成第三方的音视频编、解码器，可实现嵌入式终端设备上的硬件编解码。

 http://anychat.storage.aliyun.com/AnyChatCoreSDK_Win32(MBCS)_V4.5.zip 

 对于本博有任何问题的朋友都可加QQ：992139738