iPhone开发之音频知识
来源:互联网 发布:淘宝直播是不是很赚钱 编辑:程序博客网 时间:2024/05/21 18:39
在做iphone开发之前,我(ray)对声音格式了解的相当少。我知道一些“wav”和“mp3”声音格式的差异,但是我肯定不能准确地告诉你“AAC”、“CAF”是什么格式的声音文件,同时也不知道在MAC上最好的转换音频文件的方法是什么。
我深知,假如你想要成为一名合格的iphone开发者,你必须对声音文件数据格式,转换,录音和使用什么音频操作API有个基本的了解。
这篇文章是三篇涵盖音频开发教程中的第一篇。在这篇文章中,我们将会从文件和数据格式开始。
文件格式和数据格式
首先我们要知道的是,对每个音频文件有两部分:1是文件格式(也叫音频容器),2是数据格式(也叫音频编码)。
文件格式(或者是音频容器)描述了这个文件它自己的格式。它里面的实际音频数据能使用很多不同的方式编码。例如,一个后缀为caf的文件是一种文件格式,它能够包含用MP3、线性pcm(lpcm)和其他许多格式编码的音频数据。
接下来让我们更深入些。
数据格式(或者是音频编码)
我们接下来将要开始了解音频编码,而不是文件格式,因为音频编码才是最重要的。
以下是iphone支持的的音频数据编码格式和针对每个的描述:
- AAC: Aaac其实是“高级音频编码(advanced audio coding)”的缩写,它是被设计用来取代MP3格式的。你可能会想,它压缩了原始的声音,导致容量占用少但是质量肯定会有所下降。不过这些质量的损失取决于声音比特率的大小,当比特率合适的时候,这些损失人耳是很难听出来的。事实上,aac比mp3有更好的压缩率,特别是在比特率低于128bit/s的时候。
- HE-AAC: HE-AAC是AAC的一个超集,这个“HE”代表的是“High efficiency”。 HE-AAC是专门为低比特率所优化的一种音频编码格式,比如streaming audio就特别适合使用这种编码格式。
- AMR: AMR全称是“Adaptive Multi-Rate”,它也是另一个专门为“说话(speech)”所优化的编码格式,也是适合低比特率环境下采用。
ALAC: 它全称是“Apple Lossless”,这是一种没有任何质量损失的音频编码方式,也就是我们说的无损压缩。在实际使用过程中,它能够压缩40%-60%的原始数据。这种编码格式的解码速度非常快,这对iphone或者ipod这种小型设备来说非常适合。 - iLBC: 这是另一种专门为说话所设计的音频编码格式,它非常适合于IP电话等其它需要流式音频的场合。
IMA4: 这是一个在16-bit音频文件下按照4:1的压缩比来进行压缩的格式。这是iphone上面一种非常重要的编码格式,我们将在以后讨论原因。
它的中文意思是基于线性脉冲编码调制,用于将模拟声音数据转换成数字声音数据。简而言之,就是意味着无压缩数据。由于数据是非压缩的,它可以非常快的播放,并且当空间不是问题时,这是在iphone上面首选的音频编码方式。 - μ-law and a-law: 就我所知道的,这种编码是交替的编码模拟数据为数字格式数据,但是在speech优化方面比linear PCM更好。
MP3: 这种格式是我们都知道也喜欢的,虽然很多年过去了,但MP3到目前为止仍然是一种非常流行的编码格式,它也能被iphone很好地支持。
我们到底选择什么编码格式?
上面的看起来是张很大的表,但是实际上只有一些是我们做开发时首选的。在具体做选择的时候,你必须记住以下几点:
- 你可以播放linear PCM, IMA4和一些其它没有压缩的或者简单压缩的音频格式,这些格式可以很好地被iphone的硬件解码。
- 对于更多高级的压缩格式,例如AAC,MP3,和ALAC,iphone并没有提供硬件编解码器的支持来很快解压缩这些数据,并且在一个时候只能处理一个文件。因此,假如你播放超过一个使用这些编码的音频文件,系统将选择使用软件来解码,那样会比较慢,还会占用CPU。
因此选择什么样的数据格式,这里有两条建议:
- 假如空间不是问题,那么使用linear PCM来编码每个音频。这样不仅使你的音频最快地播放,而且你能够在不占用CPU资源的情况下同时播放多个声音。
- 假如空间是问题, 你大多数时候要使用AAC来编码你的背景音乐和IMA4来编码你的音效。
Linear PCM的许多变种
还有一个很重要的关于linear PCM的问题需要强调,那就是这种无压缩的数据格式是iphone上面编程首选的。针对不同的数据存储,这里有一些linear PCM变种。这些数据可以使用高尾数或者低尾数格式来储存,它们之间的差别,就像浮点型和整型它们占用的位宽不同。
这里最重要的一件事就是,在iphone上面首选的linear PCM是低尾数(little-endian)格式的16位整型,或者是”LEI16″(好像是一种编码格式,apple caf audio format code: LEI16, ios设备的音频格式是16位低尾数编码)。这个是和Mac os x不一样的,它使用的是本地32位浮点型尾数编码。因为音频文件经常要在Mac上面创建,所以检查文件并把他们转换为iphone首选的音频编码格式是个很好的主意。
文件格式(或者说是音频容器)
iphone支持很多文件格式,包括MPEG-1 (.mp3), MPEG-2 ADTS (.aac), AIFF, CAF, and WAVE。但是最重要的事是你可以只使用CAF,因为它能包含任何iphone支持的编码格式的数据,在iPhone上面它是推荐的文件格式。
(泰然注:在这里我在啰嗦点,其实文件格式就像是桶一样,里面可以装很多水,那些水就是那些音频数据。桶有很多种,也就是有很多种文件格式,而且不一样的桶,也需要装不同的水。CAF这种桶就可以装各种各样的水,不过有些就只能装几种类型的水。希望我这样的比喻你可以很好的理解。)
比特率
这有一个有关音频编码很重要的术语,我们接下来会提及:比特率。
比特率是音频文件每秒占据的字节数(比特数)。一些像AAC或者MP3编码会指定音频文件压缩的比特数。当你在使用比较低的比特率时,你将会丢失声音质量。
你应该根据特定的声音文件的不同来选择不同的比特率,试着使用不同的比特率,来比较哪个是最合适的,在声音文件大小和声音质量之间做一些权衡。假如你的文件大多数是语音说话数据,你可以使用比较低的比特率。
这里有一个表,给你一个最常见的比特率的概述:
- 32kbit/s: 调幅(AM)广播的质量
- 48kbit/s: 一般比较长时间的语音播客的比特率
- 64kbit/s: 一般正常长度的语音播客的比特率
- 96kbit/s: 调频(FM)广播的质量
- 128kbit/s: 大多数MP3音乐的比特率
- 160kbit/s: 那些很喜欢音乐的,想要听觉感受的人更喜欢的在128kbit/s之上的一个比特率
- 192kbit/s: 数字电台的质量
- 320kbit/s: 在这个比特率下人们几乎和CD的播放效果一样,不能区别
- 500kbit/s-1,411kbit/s: 无损的音频编码,就像linear PCM
采样率
在我们继续介绍音频之前,这里还有一个术语我们需要了解一下,就是:采样率。
当转换一个模拟信号到数字格式,采样率表示多久抽取一次声音波形试样来转换成一个数字信号。
大多情况下,44100Hz是被经常使用的,因为这和CD音频一样的采样率。
Afplay, AFConvert和AFInfo
转换音频在Mac是相当简单的,因为在Mac上有三条内置的命令行工具:afplay、afconvert、afinfo。
使用最简单的是afplay,仅需要在终端里输入你的音频名字,它将会播放。当在听不同比特率下的压缩音频文件有什么差别时,这是相当方便的。
接下来是afinfo, 仅需输入你音频的名字,之后就可以看到这份文件的文件格式、数据格式、比特率和其他一些有用的信息。例子如下:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
File: pew-pew-lei.caf
File type ID: caff
Data format: 1 ch, 44100 Hz,'lpcm'(0x0000000C)
16-bit little-endiansigned integer no channel layout.
estimated duration: 0.560 sec
audio bytes: 49408
audio packets: 24704
audio 24704 valid frames + 0 priming + 0 remainder = 24704
bit rate: 705600 bits per second
packet size upper bound: 2
audio data file offset: 4096
optimized
sound check:
approximate duration in seconds 0.56
----
上面的例子向你说明了这份文件的文件类型是CAF,数据格式是16位低字节序有符号整型(LEI16),采样频率是44100Hz,比特率是705600比特/秒。
最后,让我们讨论下里面最好的工具:afconvert。afconvert使用相当简单,只需要一个像下面的命令行:
注意:我没有指出这个输入文件的扩展名,因为afconvert可以智能地检测音频文件的类型并且做相应的转换,因此输入的文件可以是任何数据格式和音频文件格式的文件。
O还有一点需要注意:你可以在输入或者输出文件之前增加一个“-b”的选项来设置比特率。因此就像这个例子,我们使用32bit/sec来保存这个文件,然后使用128bit/sec来保存:
2
afconvert -d aac -f'caff'-b 32768 background-music-lei.caf test_32.caf
在Mac上面录制音频文件
我想略记下两条关于在Mac上面为你的应用制作音乐和声音的好方法。
第一,需要GarageBand。GarageBand可以轻松的把一些预先准备好的鼓声、吉他声和一些其他的乐器声音组合到一起成为一小段歌曲。假如你很喜欢音乐,你可以自己边玩边录一些音乐,并且做一些很酷的东西。
假如你还没准备好,还不怎么了解,你可以花一些时间来了解一下 Apple 的GarageBand . 我发现特别是 “Using Built-In Software Instruments” 这章最有用。
假如你觉得你的歌很好,你可以将它导出上传到iTunes,然后选择”Reveal in Finder”来获取你的文件以备将来使用。
我发现GarageBand 不是一个用来记录简单音效的最好工具。因此,我更喜欢一个很棒的免费音频程序,叫 Audacity. 你可以插上你的麦克风(我用我的Rock Band麦克风,它工作得刚刚好!),记录你的声效,并能很简单的保存下来。
不要忘了当你像这样制作你自己的声音的时候,你们最可能使用16位高字节顺序有符号整型来存储,或者使用“BEI16”来储存。因此,不要忘了在将它们包含到你的程序之前转换到LEI16。
假如你发现你自己没得很好的艺术细胞,这里有一些音效在免费声音项目 里有Creative Commons许可证,或者你可以雇佣一个专业人员!
如果你还需要对音频不是很了解,可以先看看这个系列教程之前的两篇,文件和数据类型(1/3) 和转换和录音(2/3)。 到目前为止,我们这个系列已经讨论了文件格式和数据格式的区别,还有怎么样在Mac下面转换和录制音频文件。现在我们将会进行比较有趣的部分——在你的iphone上面播放音频!
在Mac上面有许多种方式播放音频——System Sound Services, AVAudioPlayer, Audio Queue Services, 和 OpenAL。要是没有外部库文件的支持,目前为止最简单的方法是System Sound Serveices和AVAudioPlayer。因此让我们讨论一下什么时候你可以使用,什么时候不可以使用,怎么样使用他们。
System Sound Services
System Sound Serverice提供了一个相当简单的方法来播放音频文件。你所需要做的就是:
2
3
4
5
pathForResource:@"pew-pew-lei" ofType:@"caf"];
NSURL *pewPewURL=[NSURL fileURLWithPath:pewPewPath];
AudioServicesCreateSystemSoundID((CFURLRef)pewPewURL,&_pewPewSound);
AudioServicesPlaySystemSound(_pewPewSound);
注意想要使用以上函数,需要添加AudioToolbox.framework,并且注意当从文件的路径(NSString)转换为URL(NSURL)的时候,使用fileURLWithPath,不然就可能会返回空。以上的都是再简单不为过的了。然而这个方法有一些缺点:
- 它只支持音频数据格式为linear PCM 或者 IMA4.
- 它只支持音频文件格式为CAF,AIF,或者 WAV。
- 声音的长度必须在30秒以下。
- 想了解更多的请看iPhone Application Programming Guide, page 149.
AVAudioPlayer
因此假如你想要使用是AAC或者MP3的文件来作为背景音乐的话该怎么办?另一个简单方法是通过AVAudioPlayer类来播放音乐。最重要的是,他其实也很简单:
2
3
4
5
_backgroundMusicPlayer = [[AVAudioPlayer alloc]
initWithContentsOfURL:backgroundMusicURL error:&error];
[_backgroundMusicPlayer prepareToPlay];
[_backgroundMusicPlayer play];
然而,AVAudioPlayer的缺点是它相当的慢(其实也不是很慢,相对于其他方法来说有点慢)。假如你点击一个按钮,然后试着使用AVAudioPlayer来播放这个声音,这将会有一个完全可以感觉到的延迟。但是你并不介意的话(就像播放背景音乐),AVAudioPlayer还是个不错的选择。
在这里提两点建议:
- 假如你将要播放背景音乐,你应该检查其他的音频(像iPod)是否正在播放,因此不要让两个音乐同时播放。
- 假如有电话打过来,用户选择“拒绝”,默认的你的AVAudioPlayer将会停止。你可以通过注册AVAudioPlayerDelegate,并且使用audioPlayEndInterruption方法来恢复播放。
实例代码
我把System Sound Services 和 AVAudioPlayer放在一起做了一个 Demo 你可以check下来。这个demo不仅展示了这些API,而且还做了一些很好玩的效果。
OpenAL
假如你正在写一个游戏或者一个应用,并且你想要很好的使用底层的技术来操纵这个音频,你可能不想要使用以上的方法。你可能需要使用 OpenAL,一个被iPhone支持的跨平台的音频库。
学习OpenAL是比较困难的。幸运的 Alex Restrepo已经扩展了一个漂亮的可使用OpenAL的声音引擎 和制作了 一个基于 OpenAL 的声音处理库 这就让你更方便使用了.
作者选择了自带一个简单声音处理库的Cocos2D游戏引擎这让声音播放更为简单了。下面这篇文章可以让你学习怎样使用这个库 : How To Make a Simple iPhone Game With Cocos2D.
结语!
关于iphone上面的音频编程这块,我仅仅只是讲了点皮毛。假如你很感兴趣,我建议看苹果的文档,特别是Core Audio Overview和Audio Session Programming Guide,还可以钻研点OpenAL的知识。
我希望这个系列的教程对于那些初次接触音频概念的开发者有帮助。请随时分享你所知道的关于音频编程的额外知识到dApps(电邮:editor@dapps.net),可能会对他人有很大帮助!
- iPhone开发之音频知识
- Iphone开发之音频学习
- iPhone应用开发之AVAudioPlayer音频播放
- iPhone应用开发之AudioServicesPlayerSystemSound音频播放
- iPhone开发之AVAudioPlayer 音频播放
- Iphone开发之音频 (二) : 程序实现播放音频
- iPhone音频开发之:程序实现播放音频
- iphone开发 音频播放
- iPhone开发音频资料
- iPhone之音频
- iPhone开发之音频101(Part 2):转换和录音
- Iphone开发之音频101 (part 1): 文件和数据类型
- Iphone开发之音频101 (第一部分): 文件和数据类型
- iPhone开发之音频101(Part 2):转换和录音
- Iphone开发之音频101 (第一部分): 文件和数据类型
- iPhone开发之音频101(Part 2):转换和录音
- Iphone开发之音频 (一) : 文件和数据类型
- Iphone开发之音频101 (第一部分): 文件和数据类型
- 05-VTK在图像处理中的应用(1)
- Linux 和 Windows多线程函数对应表
- BroadcastReceiver
- 我的C++成长之路(-) 学习阶段 -02 函数、模板、数组的操作
- 算法导论第2章(2) merge 排序
- iPhone开发之音频知识
- Android动画(图片闪烁、左右摇摆、上下晃动等效果)
- Request.QueryString 不能像使用方法那样使用不可调用
- JavaScript 页面跳转的几种方式
- GCD介绍(一): 基本概念和Dispatch Queue
- android 在待机状态下显示某一个activity
- hdu 1158 Employment Planning(DP)
- http协议备份
- vmware添加新硬盘 挂载新硬盘 硬盘扩容