即时通讯音视频解决方案 音视频技术处理

　　即时通讯音视频解决方案 音视频技术处理

　　音视频即时通讯技术方面，云智真即时通讯音视频SDK包含了音视频处理模块(采集、编解码)、流媒体管理模块(丢包重传、抖动平滑、动态缓冲)、流媒体播放模块(多路混音、音视频同步)以及P2P网络模块(NAT穿透、UPnP支持)等多个子模块，封装了底层的硬件操作(音视频采集、播放)、封装了流媒体处理(编解码、网络传输)等非常专业和复杂的技术，为上层应用提供简单的API控制接口，可以在极短的开发周期，以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。

云智真即时时通讯音视频SDK，是一套跨平台的即时通讯音视频解决方案。基于先进的H.264视频编码标准、AAC音频编码标准与P2P技术的技术上，再整合了云智真在音视频编码、多媒体通讯领域领先的开发技术和丰富的产品经验，而设计的高质量、宽适应性、分布式、模块化的网络音视频互动平台(支持Windows、Web、Linux、Android、Ios、Mac)。

　　1 云智真即时通讯音视频SDK分为客户端SDK和服务器SDK两大部分，其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能，而服务器SDK主要实现业务层逻辑控制，以及与第三方平台的互联等。客户端SDK和服务器SDK均支持C++、C#、vbnet以及Delphi等开发语言。

　　2 云智真即时通讯音视频SDK采用动态缓冲技术来适应不同网络环境(局域网、企业专网、互联网、3G网络)，根据不同的网络状态动态调节相关参数，使得云智真即时通讯音视频SDK在多种网络环境下均有良好的表现，并特别针对互联网、3G网络等应用场合进行优化，为上层应用提供视频质量的动态调节接口、音频质量的动态调节接口。

　　3 通过云智真即时通讯音视频SDK，可以开发具有企业特色的即时通讯系统、视频游戏系统、视频会议系统、网络教学系统以及在线客服系统等，系统的功能、界面完全由企业定制，底层通信协议加密传输，多重安全防护，保密性强。

　　4 云智真 可以作为在线游戏的音视频引擎，也可以作为视频会议、网络教育、IM系统、网络视频聊天系统等互动平台的核心库，还可以应用于政府应急指挥平台、专家远程协商平台等专用系统。云智真音视频互动开发平台目前已广泛应用于在线视频游戏、网站视频聊天、企业视频会议、军队远程指挥、政府应急指挥平台、数字电视、数学家庭等领域。

　　5 云智真即时通讯音视频SDK支持跨平台的应用为客户提供了广阔的应用空间。如实现Windows桌面用户的语音视频交互的同时，还可以定制嵌入式硬件解决方案，实现嵌入式硬件与Windows桌面应用的互联互通，在部队远程指挥、政府应急系统、数字化家庭、移动视频监控以及移动音视频采集等领域有广泛的应用空间。参考：Linux 即时通讯中如何部署音视频 SDK

　　6 云智真即时通讯音视频SDK采用先进的AAC(Advanced Audio Coding)语音编码体系，AAC是MPEG1/2 Audio 的下一代有损音频编码, 并且是MPEG-4 使用的音频编码，AAC采用了感知子带技术(perceptual sub-band technology)，与MP3等其它编码器相比，AAC编码器很大程度地改善了数据压缩率和声音品质。

　　7 云智真即时通讯音视频SDK全面支持静音检测(VAD)、噪音抑制(NS)、自动增益(AGC)以及回音消除(AEC)等音效处理，极大提高用户体验。清晰、细腻的视频效果云智真采用国际领先的视频编码标准H.264(MPEG-4 part 10 AVC /H.264)编码，H.264/AVC 在压缩效率方面有着特殊的表现，一般情况下达到MPEG-2 及MPEG-4 简化类压缩效率的大约2 倍。H.264具有许多与旧标准不同的新功能，它们一起实现了编码效率的提高。特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑

　　8 云智真针对可不经过服务器中转的音视频应用，采用了P2P通信技术，该技术的核心在于防火墙的穿越。使用P2P通信技术，可以大大的减轻系统服务器的负荷，并成几何倍数的扩大系统的容量，且并不会因为在线用户数太多而导致服务器的网络阻塞。支持UPNP协议，自动搜索网络中的UPNP设备，主动打开端口映射，提高P2P通信效率。

　　9 云智真采用拥有自主知识产权的“MultiPath”P2P网络路由算法，将服务器上的用户组成一个P2P互通的网络，流媒体数据在用户之间传递，减少对服务器的网络带宽占用，实现了一个高性能P2P网络核心。传统的P2P网络应用(如P2P在线影院)所采用的算法需要长时间(如30秒，或更长)的缓冲，不适合即时通讯领域所要求的低延迟的目标，“MultiPath”P2P网络路由算法便是针对即时通讯领域专门设计的P2P网络算法，它保留了P2P网络原有的网络带宽优势，同时又极大的降低了中间的缓冲时间。

　　云智真音视频直播SDK功能特点：

　　让开发者一次实现所有实时功能，一个极简 SDK 全平台支持和互通，API 接口丰富，灵活调用，最快 30 分钟可完成接入，云智真提供一个极简SDK让开发者接实时虚拟通信网，在任何App和网站实现高质量的音频通话、视频通话、全互动直播。

　　1、跨平台支持

　　2、Web 与 Native 互通，手机端和 Web 可以互通，极大方便开发者的全平台业务

　　3、5000+ 设备支持，适配全部 iOS 设备和 5000+ Android 终端设备，保证用户体验一致，为开发者节省大量时间

　　4、API 接口灵活调用，小接口也能办大事，1)选择模式，通信或直播，2)开启视频，3)设置视频显示模式，本地/远端，4)设置视频分辨率，更改视窗布局，5)开始通话，加入频道，6)结束通话，离开频道

　　5、开放第三方接入，支持第三方的功能 API 接入和自定义滤镜、美颜、加密、人脸识别、鉴黄、卡通换脸等均支持第三方接入，滤镜、美颜、加密、人脸识别、鉴黄、卡通换脸

　　6、通话质量数据实时监控，通话质量数据，终端用户分布地区，通话设备平台分布，网络状况分布

　　7、独家专利编解码，适应公共互联网专利编码，对抗传输信道不稳定，码率根据带宽自适应调整，

　　1)全频带音质，44.1kHz 超宽频音质，将普通电话音质提高6倍

　　2)超高清画质，最高支持 720P 超清画质，高清晰度低码率，与网络深度结合，基于人眼视觉体验质量优化