OpenCores学习(0) --概述
来源:互联网 发布:新浪期货数据接口api 编辑:程序博客网 时间:2024/05/16 02:18
2、Player和Author的详细介绍
2、 OpenCore和Android其他部分的集成
第一部分 OpenCore概述:
OpenCore 的另外一个常用的称呼是PacketVideo,它是Android的多媒体核心。事实上,PacketVideo是一家公司的名称,而OpenCore 是这套多媒体框架的软件层的名称。在Android的开发者中间,二者的含义基本相同。对比 Android的其它程序库,OpenCore的代码非常庞大,它是一个基于C++的实现,定义了全功能的操作系统移植层,各种基本的功能均被封装成类的形式,各层次之间的接口多使 用继承等方式。
OpenCore是一个多媒体的框架,从宏观上来看,它主要包含了两大方面的内容:
PVPlayer:提供媒体播放器的功能,完成各种音频(Audio)、视频(Video)流的回放 (Playback)功能
PVAuthor:提供媒体流记录的功能,完成各种音频(Audio)、视频(Video)流的以及静态图像 捕获功能
PVPlayer和PVAuthor以SDK的形式提供给开发者,可以在这个SDK之上构建多种应用程序和服务。在移动终端中 常常使用的多媒体应用程序,例如媒体播放器、照相机、录像机、录音机等等。
为了更好的组织整体的架构,OpenCore在软件层次在宏 观上分成几个层次:
OSCL:Operating System Compatibility Library (操作系统兼容库),包含了一些操作系统底层的操作,为了更好地在不同操作系统移植。包含了基本数据类型、配置、字符串工具、IO、错误处理、线程等内 容,类似一个基础的C++库。
PVMF:PacketVideo Multimedia Framework(PV多媒体框架),在框架内实现一个文件解析(parser)和组成(composer)、编解码的NODE,也可以继承其通用的接 口,在用户层实现一些NODE。
PVPlayer Engine:PVPlayer引擎。
PVAuthor Engine:PVAuthor引擎。
事实上,OpenCore中包含的内容非常多:从播放的角度,PVPlayer的输入的 (Source)是文件或者网络媒体流,输出(Sink)是音频视频的输出设备,其基本功能包含了媒体流控 制、文件解析、音频视频流的解码(Decode)等方面的内容。除了从文件中播放媒体文件之外,还包含了与网络相关的RTSP流(Real Time Stream Protocol,实时流协议)。在媒体流记录的方面,PVAuthor的输入的(Source)是照相机、麦克风等设备,输出(Sink)是各种文件, 包含了流的同步、音频视频流的编码(Encode)以及文件的写入等功能。
在使用OpenCore的SDK的时候,有可能需要在应用程 序层实现一个适配器(Adaptor),然后在适配器之上实现具体的功能,对于PVMF的NODE也可以基于通用的接口,在上层实现,以插件的形式使用。
第二部分 OpenCore的代码结构2.1 代码结构
以开源Android的代码为例,OpenCore的代码 在以下目录中:external/opencore/。这个目录是OpenCore的根目录,其中包含的子目录如下所示:
android:这里面是一个上层的库,它基于PVPlayer和PVAuthor的SDK实现了一个为Android使用的Player和 Author。
baselibs:包含数据结构和线程安全等内容的底层库
codecs_v2:这是一个内容较多的库,主要包含编解码的实现,以及一个OpenMAX的实现
engines:包含 PVPlayer和PVAuthor引擎的实现
extern_libs_v2:包含了khronos的OpenMAX的头文件
fileformats:文件格式的解析(parser)工具
nodes:提供一些PVMF的NODE,主要是编解码和文件解析方面 的。
oscl:操作系统兼容库
pvmi: 输入输出控制的抽象接口
protocols:主要是与网络相关的RTSP、RTP、HTTP等协议 的相关内容
pvcommon:pvcommon库文件的Android.mk文件,没有源文件。
pvplayer:pvplayer库文件的Android.mk文件,没有源文件。
pvauthor:pvauthor库文件的 Android.mk文件,没有源文件。
tools_v2:编译工具以及一些可注册的模块。
在 external/opencore/目录中还有2个文件,如下所示:
Android.mk:全局的编译文件
pvplayer.conf:配置文件
在external/opencore/的各个子文件夹中包含了众多的Android.mk文 件,它们之间还存在着“递归”的关系。例如根目录下的Android.mk,就包含了如下的内容片断:
include $(PV_TOP)/pvcommon/Android.mk
include $(PV_TOP)/pvplayer/Android.mk
include $(PV_TOP)/pvauthor/Android.mk
这表示了要引用pvcommon,pvplayer和pvauthor等 文件夹下面的Android.mk文件。
external/opencore/的各个Android.mk文件可以按照排列组合进行使 用,将几个Android.mk内容合并在一个库当中。
2.2 编译结构
1.库的层次关系:在Android的开源 版本中编译出来的内容,OpenCore编译出来的各个库如下所示:
libopencoreauthor.so:OpenCore的 Author库
libopencorecommon.so:OpenCore底层的公共库
libopencoredownloadreg.so :下载注册库
libopencoredownload.so:下载功能实现库
libopencoremp4reg.so:MP4注册库
libopencoremp4.so:MP4功能实现库
libopencorenet_support.so:网络支持库
libopencoreplayer.so:OpenCore的 Player库
libopencorertspreg.so:RTSP注册库
libopencorertsp.so:RTSP功能实现库
这些库的层次关系如下图所示:
OpenCore的各个库之间具有如下的关系:
libopencorecommon.so是所有的库的依赖库,提供了公共的功能;
libopencoreplayer.so和 libopencoreauthor.so是两个并立的库,分别用于回放和记录,而且这两个库是OpenCore对外的接口库;
libopencorenet_support.so提供网络支持的功能;
一些功能以插件(Plug-In)的方式放入Player中 使用,每个功能使用两个库,一个实现具体功能,一个用于注册。
2.libopencorecommon.so库的结构
libopencorecommon.so是整个OpenCore的核心库,它的编译控制的文件的路径为pvcommon/Android.mk,这个 文件使用递归的方式寻找子文件:include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//oscl/oscl/osclbase/Android.mk
include $(PV_TOP)//oscl/oscl/osclerror/Android.mk
include $(PV_TOP)//oscl/oscl/osclmemory/Android.mk
include $(PV_TOP)//oscl/oscl/osclutil/Android.mk
include $(PV_TOP)//oscl/pvlogger/Android.mk
include $(PV_TOP)//oscl/oscl/osclproc/Android.mk
include $(PV_TOP)//oscl/oscl/osclio/Android.mk
include $(PV_TOP)//oscl/oscl/osclregcli/Android.mk
include $(PV_TOP)//oscl/oscl/osclregserv/Android.mk
include $(PV_TOP)//oscl/unit_test/Android.mk
include $(PV_TOP)//oscl/oscl/oscllib/Android.mk
include $(PV_TOP)//pvmi/pvmf/Android.mk
include $(PV_TOP)//baselibs/pv_mime_utils/Android.mk
include $(PV_TOP)//nodes/pvfileoutputnode/Android.mk
include $(PV_TOP)//baselibs/media_data_structures/Android.mk
include $(PV_TOP)//baselibs/threadsafe_callback_ao/Android.mk
include $(PV_TOP)//codecs_v2/utilities/colorconvert/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/common/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/common/Android.mk
OSCL的所有内容
Pvmf框架部分的内容(pvmi/pvmf/Android.mk)
基础库中的一些内容(baselibs)
编解码的一些内容
文件输出的node(nodes/pvfileoutputnode/Android.mk)
3.libopencoreplayer.so库的结构
include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//engines/player/Android.mk
include $(PV_TOP)//codecs_v2/audio/aac/dec/util/getactualaacconfig/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/aac/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_wb/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/common/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/mp3/dec/Android.mk
include $(PV_TOP)//codecs_v2/utilities/m4v_config_parser/Android.mk
include $(PV_TOP)//codecs_v2/utilities/pv_video_config_parser/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_common/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_queue/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_h264/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_aac/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_amr/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_mp3/Android.mk
include $(PV_TOP)//codecs_v2/omx/factories/omx_m4v_factory/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_proxy/Android.mk
include $(PV_TOP)//nodes/common/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/plugins/oma1/passthru/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/plugins/common/Android.mk
include $(PV_TOP)//pvmi/media_io/pvmiofileoutput/Android.mk
include $(PV_TOP)//fileformats/common/parser/Android.mk
include $(PV_TOP)//fileformats/id3parcom/Android.mk
include $(PV_TOP)//fileformats/rawgsmamr/parser/Android.mk
include $(PV_TOP)//fileformats/mp3/parser/Android.mk
include $(PV_TOP)//fileformats/mp4/parser/Android.mk
include $(PV_TOP)//fileformats/rawaac/parser/Android.mk
include $(PV_TOP)//fileformats/wav/parser/Android.mk
include $(PV_TOP)//nodes/pvaacffparsernode/Android.mk
include $(PV_TOP)//nodes/pvmp3ffparsernode/Android.mk
include $(PV_TOP)//nodes/pvamrffparsernode/Android.mk
include $(PV_TOP)//nodes/pvmediaoutputnode/Android.mk
include $(PV_TOP)//nodes/pvomxvideodecnode/Android.mk
include $(PV_TOP)//nodes/pvomxaudiodecnode/Android.mk
include $(PV_TOP)//nodes/pvwavffparsernode/Android.mk
include $(PV_TOP)//pvmi/recognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvamrffrecognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvmp3ffrecognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvwavffrecognizer/Android.mk
include $(PV_TOP)//engines/common/Android.mk
include $(PV_TOP)//engines/adapters/player/framemetadatautility/Android.mk
include $(PV_TOP)//protocols/rtp_payload_parser/util/Android.mk
include $(PV_TOP)//android/Android.mk
include $(PV_TOP)//android/drm/oma1/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/node_registry/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_net_support/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_download/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_download/node_registry/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_mp4/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_mp4/node_registry/Android.mk
libopencoreplayer.so中包含了以下内 容:
一些解码工具
文件的解析器(mp4)
解码工具对应的Node
player的引擎部分 (engines/player/Android.mk)
为Android的player适配器 (android/Android.mk)
识别工具(pvmi/recognizer)
编解码工具中的OpenMax部分(codecs_v2/omx)
对 应几个插件Node的注册
4.libopencoreauthor.so库的结构
include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//engines/author/Android.mk
include $(PV_TOP)//codecs_v2/video/m4v_h263/enc/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/enc/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/enc/Android.mk
include $(PV_TOP)//fileformats/mp4/composer/Android.mk
include $(PV_TOP)//nodes/pvamrencnode/Android.mk
include $(PV_TOP)//nodes/pvmp4ffcomposernode/Android.mk
include $(PV_TOP)//nodes/pvvideoencnode/Android.mk
include $(PV_TOP)//nodes/pvavcencnode/Android.mk
include $(PV_TOP)//nodes/pvmediainputnode/Android.mk
include $(PV_TOP)//android/author/Android.mk
libopencoreauthor.so 中包含了以下内容:
一些编码工具(视频流H263、H264,音频流Amr)
文件的组成器(mp4)
编码工具对应的Node
表示媒体输入的Node(nodes/pvmediainputnode/Android.m)
author 的引擎部分(engines/author/Android.mk)
为Android的author适配器(android/author/Android.mk)
5.其他库
网络支持库libopencorenet_support.so:
tools_v2/build/modules/linux_net_support/core/Android.mk
MP4功能实现库libopencoremp4.so和注册库libopencoremp4reg.so:
tools_v2/build/modules/linux_mp4/core/Android.mk
tools_v2/build/modules/linux_mp4/node_registry/Android.mk
RTSP功能实现库libopencorertsp.so和注册库libopencorertspreg.so:
tools_v2/build/modules/linux_rtsp/core/Android.mk
tools_v2/build/modules/linux_rtsp/node_registry/Android.mk
下载功能实现库libopencoredownload.so和注册库libopencoredownloadreg.so:
tools_v2/build/modules/linux_download/core/Android.mk
tools_v2/build/modules/linux_download/node_registry/Android.mk
第三部分 OpenCore OSCL简介
oscl/oscl
|-- config
|-- makefile
|-- makefile.pv
|-- osclbase
|-- osclerror
|-- osclio
|-- oscllib
|-- osclmemory
|-- osclproc
|-- osclregcli
|-- osclregserv
`-- osclutil
在OSCL的实现中,很多典型的C语言函数被进行了简单的封装,例如:osclutil中与数学相关的功能在oscl_math.inl中被定义成为了内嵌(inline)的函数:
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log(double value)
{
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log10(double value)
{
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_sqrt(double value)
{
}
oscl/oscl/oscllib/
|-- Android.mk
|-- build
|
|
`-- src
class OsclSharedLibrary
{
public:
}
第四部分 文件格式处理和编解码部分简介
在多媒体方面,文件格式的处理和编解码(Codec)是很基础的两个方面 的内容。多媒体应用的两个方面是媒体的播放(PlayBack)和媒体的记录(Recording)。
在媒体的播放过程中,通常情况是 从对媒体文件的播放,必要的两个步骤为文件的解析和媒体流的解码。例如对于一个mp4的文件,其中可能包括AMR和AAC的音频流,H263、MPEG4 以及AVC(H264)的视频流,这些流被封装在3GP的包当中,媒体播放器要做的就是从文件中将这些流 解析出来,然后对媒体流进行解码,解码后的数据才可以播放。
在媒体的记录过程中,通过涉及到视频、音频、图像的捕获功能。对于将视频加 音频录制成文件功能,其过程与播放刚好相反,首先从硬件设备得到视频和音频的媒体流,然后对其进行编码,编码号的流还需要被分层次写入到文件之中,最终得 到组成好的文件。
OpenCore有关文件格式处理和编解码部分两部分的内容,分别在目录fileformats和codecs_v2 当中。这两部分都属于基础性的功能,不涉及具体的逻辑,因此它们被别的模块调用来使用,例如:构建各种Node。
4.1 文件格式的处理
由于同时涉及播放文件和记录文件两种功能,因此OpenCore中的文件格式处理有两种类型,一种是parser(解析 器),另一种是composer(组成器)。
fileformats的目录结构如下所示:fileformats
|-- avi
|
|-- common
|
|-- id3parcom
|
|
|
|
|-- mp3
|
|-- mp4
|
|
|-- rawaac
|
|-- rawgsmamr
|
`-- wav
codecs_v2
|-- audio
|
|
|
|
|-- omx
|
|
|
|
|
|
|
|
|
|-- utilities
|
|
|
`-- video
`-- video
- OpenCores学习(0) --概述
- OpenCores学习(0) --概述
- OpenCores学习(4)--接口与NODE
- OpenCores学习(1) --简介
- OpenCores学习(5) -- A/V同步机制
- OpenCores学习(2)--高层次设计 (HLD)
- OpenCores学习(3)--PVPlayer 引擎设计
- OpenCores框架
- OpenCores框架
- OpenCores框架
- caffe入门学习(0):概述
- opencores 有用的core
- 如何单独编译OpenCores
- PHP - 0 - 学习PHP概述
- CCNA 学习笔记-0 概述
- JBPM学习(1)----概述
- ITIL学习(一) 概述
- sip 学习一 (概述)
- tmp
- iphone和Objective-C笔试题?
- c++之派生类
- 系统设计说明书(架构、概要、详细)目录结构
- web开发中添加数据源
- OpenCores学习(0) --概述
- java中将数据对象序列化后保存到数据库中,并反序列化取出显示
- Eclipse中使用debug
- 7个常见Javascript框架介绍
- Objective-C中判断字符串是否包含其他字符串
- OpenCores学习(1) --简介
- WORDS AND THEIR STORIES - Dog Talk: Every Dog Has Its Day
- 工厂模式-简单工厂模式
- c# js客户端导出excel