その後のその後

iOSエンジニア 堤 修一のブログ github.com/shu223

音声処理

【iOS 10】Speechフレームワークで音声認識 - 対応言語リスト付き

iOS 10のドキュメントが公開された当日に書いた下記記事で、最も反響が大きかったのが音声認識APIでした。 http://d.hatena.ne.jp/shu223/20160614/1465862051 今回公開された SiriKit(Intents / IntentsUI)とは別のフレームワーク、Speech Framework とし…

Classic Bluetooth について iOS アプリ開発者ができること

Bluetooth Low Energy については Core Bluetooth で色々と制御できますが、Classic Bluetooth(以降クラシックBT)については基本的に開発者は制御できません。 *1 そう、確かにアプリ内からクラシックBTデバイスと接続したり、データを送るとか送らないと…

Audio Unit Extensions 〜オーディオエフェクトのアプリ間共有〜

昨日開催された「WWDC2015報告共有会@ネクスト」にて、iOS 9 で追加された新しい Extension Point のひとつ、「Audio Unit Extensions」についてLTをさせていただきました。 Audio Unit Extensions 〜オーディオエフェクトをアプリ間で共有〜 from Shuichi T…

iOSと機械学習

ビッグデータとかの機械学習隆盛の背景にある文脈や、その拠り所となるコンピュータの処理性能から考えても「モバイルデバイス向けOSと機械学習を紐付けて考えようとする」ことはそもそもあまり筋がよろしくない・・・とは思うのですが、やはり長くiOSだけに…

新しい楽器をつくるハッカソン「Play-a-thon」に参加してきました

つい10日ほど前に TechCrunch ハッカソンに参加した件について書いたばかりですが、実は今月の6(木)、7(金)、21(金)、24(月)と何と4日間、しかも平日(!)*1 という日程で、「新しい楽器をつくる」というコンセプトのハッカソン、その名も「Play-a-…

低レイテンシにシーク&再生可能なライブラリ:EZAudio

ニッチなケースだとは思うのですが、 デバイスA(マスター)に対して、デバイスBを同期再生させたい ダンスパフォーマンスなので遅延はNG デバイスBのアプリは、デバイスAの再生の途中で起動されるかもしれない つまり、同期タイミングが曲の頭だけでは不十…

Audio Unit 再入門

Core Audio においてもっとも低レベルに位置する Audio Unit。リアルタイムで高度なオーディオ波形処理を行いたい場合や複雑なルーティングによるオーディオ処理を実現したい場合、これを使用する必要が出てきます。 が、このフレームワーク、個人的には使用…

Core Bluetooth / BLEで音声データをやりとりする

以前書いた2つの記事でわかったことは、BLEは少量データ/低頻度での用途に特化することで省電力を実現した規格なので、音声データをやり取りするような用途にはそもそも向かない、ということでした。 http://d.hatena.ne.jp/shu223/20140109/1389216052 ht…

OpenEars 1.6で音声認識を行う

フリーのiOS向け音声認識/音声合成ライブラリ『OpenEars』について半年ほど前に記事を書いたのですが、 http://d.hatena.ne.jp/shu223/20130810/1376105883 このときのバージョンは1.3.6でしたが、2014年1月現在の最新バージョンは1.64となっています。 で…

Audio Unitのコールバック関数を登録する方法3種の比較

Audio Unit で、コールバック関数を登録するための方法が何通りかあって、何だかややこしかったので整理してみました。 AudioUnitSetProperty まず一番基本的なものである AudioUnitSetProperty から。 AURenderCallbackStruct callbackStruct; callbackStru…

ダウンロード可能な Audio Unit 関連のサンプルコード11個

Audio Unit は、iOS の Core Audio においてもっとも低レベル(ハードウェアより)に位置するフレームワークです。そのため低レイテンシを要求されるオーディオ処理機能を提供するアプリに向いています。 というのがよく言われる Audio Unit のメリットなの…

iOS のオーディオ/サウンド処理について学べる書籍10冊+α

Core Image や vImage や OpenCV、それらをラップする各種ライブラリの充実のおかげで、画像処理まわりは高度な処理をずいぶん簡単に高速に実装できるようになってきましたが、オーディオ処理(音声処理)まわりはいまだに再生や録音などの基本的なところか…

OpenAL、AVAsset を使用した無料アプリをリリースしました

左右で別々の音源を聴くことが可能な、学習加速アプリです。 『i聖徳太子』 ※無料です やりたいことはシンプルなのに、 iPodライブラリから取得した曲を 左右にパンニングして再生 という必須要件を満たそうとするとそのまま MPMediaItem をMPMusicPlayerCon…

iOS SDK用音声認識機能ライブラリVocalKitの使い方

2010年12月4日に行われたyidev(横浜iPhone開発者勉強会)第七回で話した際の資料です。 VocalKitについて from Shuichi Tsutsumi iPhone SDKで利用できる音声認識ライブラリ(Pocket Sphinxのラッパー)VocalKitについて紹介しています。 (内容) 『勇気を…