iOS 直播技术文档

iOS 直播


个人项目可以参考+lflivekit+ljkplayer
第三方推荐使用金山云
im推荐使用容云
网络层(socket或st)负责传输，协议层(rtmp或hls)负责网络打包，封装层(flv、ts)负责编解码数据的封装，编码层(h.264和aac)负责图像，音频压缩。


码率：图片进行压缩后每秒显示的数据量。
帧:每帧代表一幅静止的图像
GOP:（Group of Pictures）画面组，一个GOP就是一组连续的画面，每个画面都是一帧，一个GOP就是很多帧的集合
直播的数据，其实是一组图片，包括I帧、P帧、B帧，当用户第一次观看的时候，会寻找I帧，而播放器会到服务器寻找到最近的I帧反馈给用户。因此，GOP Cache增加了端到端延迟，因为它必须要拿到最近的I帧
GOP Cache的长度越长，画面质量越好


帧率：每秒显示的图片数。影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。
由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉暂留。并且当帧速达到一定数值后，再增长的话，人眼也不容易察觉到有明显的流畅度提升了。
分辨率：(矩形)图片的长度和宽度，即图片的尺寸
压缩前的每秒数据量:帧率X分辨率(单位应该是若干个字节)
压缩比:压缩前的每秒数据量/码率 （对于同一个视频源并采用同一种视频编码算法，则：压缩比越高，画面质量越差。）　
视频文件格式：文件的后缀，比如.wmv,.mov,.mp4,.mp3,.avi,
主要用处，根据文件格式，系统会自动判断用什么软件打开,
注意: 随意修改文件格式，对文件的本身不会造成太大的影响，比如把avi改成mp4,文件还是avi.
视频封装格式：一种储存视频信息的容器，流式封装可以有TS、FLV等，索引式的封装有MP4,MOV,AVI等，
主要作用：一个视频文件往往会包含图像和音频，还有一些配置信息(如图像和音频的关联，如何解码它们等)：这些内容需要按照一定的规则组织、封装起来.
注意：会发现封装格式跟文件格式一样，因为一般视频文件格式的后缀名即采用相应的视频封装格式的名称,所以视频文件格式就是视频封装格式。
视频封装格式和视频压缩编码标准：就好像项目工程和编程语言，封装格式就是一个项目的工程，视频编码方式就是编程语言，一个项目工程可以用不同语言开发。










直播协议选择：
即时性要求较高或有互动需求的可以采用RTMP,RTSP
对于有回放或跨平台需求的，推荐使用HLS






直播的流程


一数据采集：摄像头，话筒 
1.音视频采集 avfoundation
2.视频处理（美颜）gpuimage
3.音视频编码压缩 ffmpeg框架(音频压缩) x264 视频压缩
4，发送音视频封装flv,ts  rtmp库可以把音视频大成包


二：服务器端（常用的流媒体服务器 sns,bms nginx）
1.数据分发
2.浅黄
3.截屏
4.录制视频
5.实时转码


三播放端流程
用到的框架
ljkplayer播放
ffmpeg视频解码
videotoolbox 视频硬解码
Audiotoolbox 音视频硬解码


1从flv,ts分离中音视频数据
2.音视频解码
3，播放
4，聊天互动