iOS のオーディオ／サウンド処理について学べる書籍10冊＋α

Core Image や vImage や OpenCV、それらをラップする各種ライブラリの充実のおかげで、画像処理まわりは高度な処理をずいぶん簡単に高速に実装できるようになってきましたが、オーディオ処理（音声処理）まわりはいまだに再生や録音などの基本的なところから一歩踏み込もうとすると途端に敷居が高くなるイメージがあります。

たとえば２年ほど前にリリースした『i聖徳太子』は、「左右のイヤフォンから別々の音を再生する」という非常にシンプルなアイデアですが、たったこれだけのことでも AVAudioPlayer やMPMusicPlayerController とかだけでは実現することができず、OpenALやAVAsset等を使用して実現しています。

で、もうちょっとオーディオ処理まわりを勉強してみたいなと思い、まず手元にある書籍で参考になりそうなものを洗い出してみました。

以下、（だいたい）出版年月順に並べています。

iOS Core Frameworksテクニカルガイド

Shawn Welch
インプレスジャパン
売り上げランキング: 242494

Amazon.co.jp で詳細を見る

2012年9月と比較的最近出版されたものですが、原著の出版は2011年9月。したがって iOS5 時代のものです。

『Core Audio』という章があり、iPodのミュージックライブラリを使ったプレイヤーの実装方法や、AVAudioPlayer を用いたオーディオ再生方法について解説されています。

この本はグラフィックスやアニメーションについてはかなり詳しく書かれているのですが、サウンド周りに関して言えば、既出情報しかないなぁという印象です。

iOS5プログラミングブック

加藤寛人吉田悠一藤川宏之西方夏子関川雄介高丘知央
インプレスジャパン
売り上げランキング: 88968

Amazon.co.jp で詳細を見る

Chapter 9-2 『オーディオの新機能』という章に、Audio Unit に関する詳しい解説が載っています。Audio Unit は Core Audio の中でも最も低レイヤにあるため、自由度とパフォーマンスに優れる反面、実装の敷居が相当高い印象があったので、これはかなり貴重な情報といえます。（iOS 5 で増強された機能なので、後に紹介するCore Audio本にも載っていない内容もあります）

サンプルとして取り上げてられているのは「マイクから入力された音声にリバーブをかけるカラオケアプリ」で、AUGraph や AUNode について学べる好サンプルとなっています。

ｉＯＳプログラミング第2版

アーロン･ヒレガスジョー・コンウェイ Aaron Hillegass Joe Conway
ピアソン桐原
売り上げランキング: 268758

Amazon.co.jp で詳細を見る

第27章『メディア再生とバックグラウンドの実行』という章があり、iPodライブラリの再生、AVAudioPlayerを使ったmp3の再生、システムサウンドといった、基本的な事項について解説されています。

iOSプログラミング逆引きリファレンス110

iOSプログラミング逆引きリファレンス110 [iOS 5.1対応]

近藤修平畠山貴森田秀幸森本一茂
マイナビ
売り上げランキング: 199047

Amazon.co.jp で詳細を見る

第３章『カメラ・サウンド』で、SEやBGMの再生、iPodライブラリから曲を検索する方法などについて書かれています。逆引き形式で調べやすいのですが、サウンドまわりはあまりレア情報は見受けられず。

iOS4プログラミングブック

畑圭輔加藤寛人坂本一樹藤川宏之高橋啓治郎沖田知彦柳澤昇
インプレスジャパン
売り上げランキング: 32117

Amazon.co.jp で詳細を見る

第３章『マルチメディア』で、まるまる約70ページが AV Foundation の解説に割かれています。AV Foundation で何ができるか、音の再生といった基礎的なところから、カメラ関係の処理、AVCapture を用いたマイクからの音声取り込み方法、メタデータの処理、動画の編集とエクスポートなどなど、非常に盛りだくさんです。

特に後半は、マイクから入力される音声波形データの取得方法や、動画と音声を組み合わせた処理の方法など、知っておくと色々と応用が効きそうな方法の解説が充実しています。

iOS SDK Hacks ―プロが教えるiPhoneアプリ開発テクニック

吉田悠一高山征大 UICoderz
オライリージャパン
売り上げランキング: 226658

Amazon.co.jp で詳細を見る

目次をざっとみると音声処理に関するトピックはないのですが、第6章に@sonsonさんが書いたAccelerate.frameworkの項があるので、音声処理にvDSP等を使用して算術計算を行いたい場合（たとえばフーリエ変換を用いて周波数領域での処理を行いたい場合）などに参考になるかもしれません。

iPhoneSDK開発のレシピ

posted with amazlet at 12.11.26

高山恭介広部一弥松浦晃洋
秀和システム
売り上げランキング: 72562

Amazon.co.jp で詳細を見る

こちらもずいぶん前に出た本ですが、「AudioQueueで再生する」「AudioQueueで再生時のレベルを取得する」「AudioQueueでマイクから録音する」「音を関知するスイッチを作る」「OpenALで再生する」といった勉強になりそうな貴重なレシピが載っています。

iPhone Core Audioプログラミング

永野哲久
ソフトバンククリエイティブ
売り上げランキング: 28453

Amazon.co.jp で詳細を見る

iOSの音声処理本といえばこれでしょ、で話が終わってしまいそうな殿堂入り本。500ページ超という極厚本でありながら、すべてが Core Audio についての解説にあてられているということからも、その情報の充実っぷりは伺えると思います。

何が載っています、ということを書いてもキリがないので、何が載ってないかということだけ書くと、iOS3.X時代に書かれたものなので、それ以降に追加された機能については（当然ですが）載っていません。

iPhone SDK アプリケーション開発ガイド

Jonathan Zdziarski
オライリージャパン
売り上げランキング: 28500

Amazon.co.jp で詳細を見る

iOS開発本としてはかなり初期に出た本なのであまり期待してなかったのですが、第６章『iPhoneのサウンド - Audio Toolbox と AVFoundation』で、AudioQueue を用いたオーディオ処理について30ページにわたる解説が載っていました。AudioQueue で録音して生データにアクセスし、ファイル出力するところまで、かなり詳細に解説されています。

その他にもAVAudioPlayerで音量メーターを作るサンプルもあります。