【FFmpeg学习笔记004】 视音频数据处理入门

最近在学习和运用视音频技术，总体感觉有些凌乱，在此做一下总结。

视音频编解码零基础：http://blog.csdn.net/leixiaohua1020/article/details/18893769

视音频开发的入门知识：基于 FFmpeg + SDL 的视频播放器的制作：

百度云下载地址：http://pan.baidu.com/s/1hsGYDwC

重点：主要学会解码本地h264编码的视频文件，输出H264码流的代码和输出yuv的代码

视音频数据处理入门：RGB、YUV像素数据处理

重点：理解峰值信噪比PSNR和MSE均方根误差是最基本的视频质量评价方法。一定要熟练和掌握RGB24,BGR24，YUV420之间的转化关系，其中BGR24对应于Opencv中的Iplimage结构体，YUV420是FFmpeg中常用的像素数据，掌握他俩之间的变换就可以结合Opencv和FFmpeg一起进行编程。

视音频数据处理入门：PCM音频采样数据处理

重点：掌握对PCM16LE双声道音频采样数据的左声道和右声道数据进行处理，理解WAVE文件是由WAVE_HEADER、WAVE_FMT、WAVE_DATA、采样数据共4个部分组成的一种RIFF格式的文件。

视音频数据处理入门：H.264视频码流解析

重点：理解H.264原始码流（又称为“裸流”）是由一个一个的NALU组成的。并且可以根据帧类型判断该帧是图像参考帧、I帧还是P帧等，参考：http://blog.csdn.net/jefry_xdz/article/details/8461343

视音频数据处理入门：AAC音频码流解析

重点：AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。其中每个ADTS frame之间通过syncword（同步字）进行分隔。同步字为0xFFF（二进制“111111111111”）。AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。

视音频数据处理入门：FLV封装格式解析

重点：理解FLV封装格式是由一个FLV Header文件头和一个一个的Tag组成的。Tag中包含了音频数据以及视频数据。详解参考：http://blog.csdn.net/weed_hz/article/details/10232407

视音频数据处理入门：UDP-RTP协议解析

重点：RFC3984中RTP头文件的格式如上图所示，主要理解打包过程首先每7个MPEG-TS Packet打包为一个RTP，然后每个RTP再打包为一个UDP。其中打包RTP的方法就是在MPEG-TS数据前面加上RTP Header，而打包RTP的方法就是在RTP数据前面加上UDP Header。

Reference：

http://blog.csdn.net/leixiaohua1020/article/details/15811977/