Linux多媒体开发基础

名词解释：

gstreamer

　　GStreamer 是用来构建流媒体应用的开源多媒体框架(framework)，其目标是要简化音/视频应用程序的开发，目前已经能够被用来处理像 MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime 等多种格式的多媒体数据。
　　GStreamer 作为 GNOME 桌面环境推荐的流媒体应用框架，采用了基于插件（plugin）和管道（pipeline）的体系结构，框架中的所有的功能模块都被实现成可以插拔的组件（component）， 并且在需要的时候能够很方便地安装到任意一个管道上，由于所有插件都通过管道机制进行统一的数据交换，因此很容易利用已有的各种插件“组装”出一个功能完善的多媒体应用程序。

ffmpeg

　　FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。
　　多媒体视频处理工具FFmpeg有非常强大的功能包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。
　　FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了领先的音/视频编码库libavcodec等。

• libavformat：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构 和读取音视频帧等功能；
• libavcodec：用于各种类型声音/图像编解码；
• libavutil：包含一些公共的工具函数；
• libswscale：用于视频场景比例缩放、色彩映射转换；
• libpostproc：用于后期效果处理；
• ffmpeg：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等；
• ffsever：一个 HTTP 多媒体即时广播串流服务器；
• ffplay：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

SDL

　　SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。
　　SDL内置了调用OpenGL的函数。通过使用SDL_image、SDL_ttf、SDL_mixer、SDL_net等外部扩展库，可以轻松实现JPG、PNG、TIFF图像的加载使用，TrueType字体的使用，MP3文件的使用、网络相关的使用等。
　　SDL也有其他语言的包装，可以在这里查看　SDL用C语言写成，但是可以很容易在C++下面工作，并且SDL绑定了许多其它的语言，这其中就包括Ada, C#, Eiffel, Erlang, Euphoria, Guile, Haskell, Java, Lisp, Lua, ML, Objective C, Pascal, Perl, PHP, Pike, Pliant, Python, Ruby, and Smalltalk。
　　包装得比较好的是python语言的pygame。不过仍然建议你熟悉c/c++环境下的SDL后再使用，会得心应手许多。

V4L2 (video 4 linux 2)

　　V4L2有一段历史了。大约在1998的秋天，它的光芒第一次出现在Bill Dirks 的眼中。经过长足的发展，它于2002年11 月，发布2.5.46 时，融入了内核主干之中。然而直到今天，仍有一部分内核驱动不支持新的API，这种新旧API 的转换工作仍在进行。同时，V4L2 API也在发展，并在2.6.18 版本中进行了一些重大的改变。支持V4L2的应用依旧相对较少。V4L2在设计时，是要支持很多广泛的设备的，它们之中只有一部分在本质上是真正的视频设备：
　　可以支持多种设备,它可以有以下几种接口:
1、视频采集接口(video capture interface)：这种应用的设备可以是高频头或者摄像头.V4L2的最初设计就是应用于这种功能的。
2、视频输出接口(video output interface)：可以驱动计算机的外围视频图像设备–像可以输出电视信号格式的设备。
3、直接传输视频接口(video overlay interface)：它的主要工作是把从视频采集设备采集过来的信号直接输出到输出设备之上,而不用经过系统的CPU。
4、视频间隔消隐信号接口(VBI interface)：它可以使应用可以访问传输消隐期的视频信号。
5、收音机接口(radio interface)：可用来处理从AM或FM高频头设备接收来的音频流。

　　V4L2 使程序有发现设备和操作设备的能力。它主要是用一系列的回调函数来实现这些功能。像设置摄像头的频率、帧频、视频压缩格式和图像参数等等。当然也可以用于其他多媒体的开发，如音频等。
但是此框架只能运行在Linux操作系统之上。