什么样的音视频SDK才算是真正的音视频开发

　　什么样的音视频SDK才算是真正的音视频开发

什么是云智真音视频SDK，云智真音视频SDK提供了实时音视频、音视频录制，视频直播、屏幕分享、白板批注等能力，支持包括Andorid/ios手机平板，Windows PC，Mac电脑，机顶盒，智能电视等各种设备与平台。云智真音视频SDK作为云智真的核心产品之一，也就是Open Audio+Video+Data，一个开放的音频、视频与数据通讯能力平台。

　　云智真的客户是各种软硬件开发类公司，云智真音视频SDK可以嵌入移动App，Web应用及各种智能硬件中，帮助这些开发公司实现视频通讯等功能，可广泛应用于远程医疗、远程教育等几十个领域

　　云智真音视频SDK在公网上开放相关功能的API/SDK，以所谓PaaS(Platform as a Service)形式提供服务，客户以租用的方式使用云智真音视频SDK提供的各种能力。

云智真音视频SDK的主要功能

功能

典型使用场景

实时音频

几乎所有通讯协作应用，包括智能硬件

实时视频

几乎所有通讯协作应用，包括智能硬件

文字聊天

远程教育，远程医疗，网络会议，社交

屏幕分享

远程教育，远程医疗，网络会议

电子白板

远程教育，远程医疗，网络会议

批注

远程教育，远程医疗，网络会议

音视频录制

远程教育，远程医疗，网络会议，安防

视频直播

远程教育，社交

云智真音视频SDK使用方式

如下图所示，一个使用了云智真音视频SDK的第三方行业应用，主要由两部分组成，分别是云智真音视频SDK相关组件(绿色)及行业应用自身特定功能组件(蓝色)。

　　云智真音视频SDK本身，也是由两部分组成，一是嵌入在各种业务应用客户端中的SDK代码，二是云智真通讯服务器。音视频SDK代码与服务器代码通过网络(公有云、私有云)连接，交换音视频及其它数据，从而完成相关功能。

　　行业应用的开发人员在需要使用音视频通讯能力的时候，简单地调用云智真音视频SDK中提供的各种接口即可，不必再花精力去搞懂音视频通讯过程需要用到的非常复杂的技术细节，如音视频采集、压缩、传输及渲染等等。

云智真音视频SDK特点优势

　　云智真音视频SDK具务以下特点与优势：

　　1、开发速度快

　　客户完成一个平台(如Android)的音视频功能对接，只需要2天时间。

　　2、运营成本低

　　借助于云智真业界领先的P2P与混合云技术，在保证更好的音视频质量的同时，可大幅降低服务器端带宽50%-70%。

　　3、支持平台全

　　支持几乎所有有屏幕的设备和平台：Android/iOS手机与平板，Windows，Mac，Linux桌面系统，机顶盒，智能硬件。尤其是我们支持webrtc兼容的浏览器如Chrome，可以不下载任何插件使用音视频通讯能力，开创了极致用户体验。 查看所有支持平台与设备>

　　4、顶尖音视频技术

　　依托云智真团队在音视频处理和互联网通讯方面的多年技术积累，云智真音视频及通讯技术方面深入钻研，专注专业，在包含音视频质量等很多关键指标方面，大幅领先于市场，现列举要点如下：音频回声消除，音视频唇音同步，视频动态码流，视频硬件编解码，视频混合VP8/VP9+H.264/H.265编解码，视频多流。

　　5、直播+互动混合场景

　　云智真音视频SDK除了能支持实时互动音视频，还能选择某路客户端的音视频，通过云智真的流媒体服务器或第三方成熟的CDN网络推送给其它各种客户端，可支持实时互动音视频与直播功能混合使用的场景，同时又能把网络费用控制在理想范围内。

　　6、完美支持已有硬件设备

　　云智真音视频SDK支持sip/H.232、RTMP、RTSP等标准协议，可籍此与在安防、通讯领域已经存在的大量软终端和硬设备完美集成，同时，还支持与PSTN电话网络的集成，从而具备广泛的适应性。

云智真音视频SDK参数指标

1.支持的设备

支持的设备

支持方式

接口语言

iPhone,iPad

原生iOS本地客户端

Objective -C

Android Phone，Android Pad

原生Android本地客户端

Java

 

Webrtc兼容浏览器，如chrome/firefox

Javascript

Windows PC

原生Windows本地客户端

C++

 

Webrtc兼容浏览器

Javascript

Mac PC

Webrtc兼容浏览器，如Chrome/firefox

Javascript

Linux PC

Webrtc兼容浏览器，如Chrome/firefox

Javascript

机顶盒

Android本地客户端

Java目前主流的机顶盒都基于Android开发

嵌入式Linux设备，如摄像头等等

原生C本地程序

C

智能硬件，如机器人

原生Android本地客户端

Java

2.支持的操作系统/平台

支持平台

备注

iOS

手机、平板

Android

安卓系统智能设备

Windows

Windows桌面专用工控机

嵌入式Linux

一些硬件设备，如摄像头

Webrtc兼容浏览器

5年webrtc方向技术积累，国内首家支持

3.重要技术参数与指标表

类别

项

值

备注

1.音视频

唇音同步时差

<100毫秒

唇音完全同步，完美用户体验

 

音频优先

支持

在网络不好情况下优先保障声音的质量

2.视频

视频路数

1-16

取决于视频规格、客户端运算能力及网络环境，建议移动端不超过3路，桌面端不超过8路

 

视频规格

"176*144 320*240 352*288 640*480 720*576 1280*720 1920*1080"

  

视频编解码

"VP8/VP9 H.264"

  

硬件编解码

支持

H.264硬编解码

 

动态分辨率调整

支持

可根据网络情况和CPU能力，动态调整视频发送端的分辨率，从而保证在网络情况不佳或CPU性能不好的时候，保持视频的流畅度

 

多层编码

支持

可根据不同的客户端，选择不同规格的视频发送

3.音频

音频路数

无限制

  

音频编解码

iSac iLBC

  

回声消除

支持

优秀，笔记本外放无回声

 

噪声消除

支持

优秀，电话音质

 

自动增益控制

支持

 

4.服务器

P2P与MCU

支持

  

MCU级联

支持

  

负载均衡

支持

  

水平延展

支持

  

分布式集群

支持

客户端可就近连接最快最稳定的服务器集群，保证极致的用户体验，在跨境协同沟通应用如远程会诊中，意义重大。

5.安全

传输安全协议

DTLS

  

数据加密算法

AES

 

6.网络

防火墙穿越

支持

自动穿透所有防火墙及代理服务器

 

接入方式

有线网络、Wifi、3G/4G

  

端口开放要求

80/443

  

抗丢包率

30%

在30%网络丢包情况下，仍能保持音视频质量

7.其它

支持平台

所有浏览器、iOS/Android、Windows/Mac/Linux

HTML5/WebRTC兼容浏览器，不用下载，其它浏览器可下载插件及本地客户端来支持

 

支持设备

PC/Mac桌面系统、iPhone/iPad、Android设备、机顶盒，智能电视、各种嵌入式Liunx设备

  

H.323

支持

  

SIP

支持

  

RTMP

支持

  

RTSP

支持

 

 

云智真音视频SDK术语表

术语

术语解释

云智真音视频SDK优势

SDK

英文Software Development Kit的缩写，其含义是软件开发工具包，通常是一个软件公司提供给其它开发公司的工具集合，其它公司可以在SDK基础上做开发。

SDK的典型例子有科大讯飞的语音识别SDK，也有云智真的视频通讯SDK。

音频优先

实时音视频通讯过程中，会有大量声音与视频数据需要传输，而视频的数据量远大于音频，而从沟通效果来说，保证音频数据的传输远比视频重要。所以，在网络状况不良（比如带宽受限）的时候，需要采取特殊的技术，可以对视频数据进行丢弃处理，以优先保证声音数据的传输，这就是所谓音频优先。

音频优先会带来辰音同步问题需要解决

唇音同步

由于实时音视频传输过程中，声音与视频数据是由不同的通道来传输的，需要采取专门的技术来保持声音与视频之间的同步性，从效果上来说，需要保持说话时的嘴唇动作和声音的一致性。

云智真的唇音同步时差小于100毫秒，远远优于市场上一些做网络会议的公司，是赢得类似大华这种大客户的关键

回声消除

"声音在播放过程中，由于场地环境等因素，扬声器传出的声音，会从唛克风传回系统，从声音听起来有类似山谷里回声现象，影响收听效果，严重的时候，会形成“啸叫”，完全听不清楚。 回声消除就是采取各种手段降低乃至避免回声的技术，是声音处理的关键技术，直接关乎音频通讯的质量。"

云智真的回声消除技术业内遥遥领先，笔记本外放，完全无回声。

iLBC

Internet Low Bitrate Codec，互联网低码率编解码，是一种开源的窄带宽话音编解码技术，由webrtc原生支持的音频技术，专门为互联网环境设计，配合相关音频引擎，在较差的网络条件下仍能保持较好的音质。

 

iSAC

Internet Speech Audio Codec，互联网话音编解码，是一种开源音频编码技术，由webrtc原生支持，专为互联网环境设计。

 

降噪

"声音在传输处理过程中，会有各种电子噪音混入，从而影声音质量。 降噪就是采取各种技术手段，过滤噪音。"

云智真的降噪技术业内遥遥领先，音质和电话音质不相上下。

H.264/H.265

"H.264是一种主流的视频编码技术，在安防等行业大量使用 H.265是脱胎于H.264的一种新的视频编码技术，预期2016年开始会逐渐获得工业界应用"

作为云智真强大技术能力的一个标志，云智真同时支持这两个系列的编码技术，并能在同一个通讯场景（如多方会议）中，混合使用这两种编码。