音楽に合わせて電気を流すiOSアプリ

先日『2014年5月〜7月にやったお仕事のまとめ - その後のその後』でちらっと書いたのですが、最近のお仕事のひとつとして、音楽に合わせて電気を流すアプリを開発しています。

（開発中の風景 in 新幹線）

4ch の電極を持つ電気刺激デバイス（通称ピリピリデバイス）に、音楽に合わせて BLE 経由で制御コマンドを送る もので、耳の聴こえないダンサーが、音楽を「感じ」ながらダンスをするためのデバイス＆アプリです。

デモンストレーション on 8/13

このアプリはもともと真鍋大度さんからご依頼いただいて開発しはじめたもので、「ヨコハマ・パラトリエンナーレ」というイベントで、8月13日、真鍋大度 + 石橋素 + 照岡正樹 + 堤修一 × SOUL FAMILY 名義で、実際にこのデバイス＆アプリを使ったデモンストレーション（ライブパフォーマンス＋トーク）を行います。

ヨコハマ・パラトリエンナーレ2014では、聴覚障害のダンサー SOUL FAMILYとライゾマティクス真鍋大度・石橋素、デバイスエンジニア照岡正樹、iOSアプリ開発堤修一の共同作業により制作された、電気刺激デバイス作品「music for the deaf」の体験用デモ機を展示します。

本プレゼンテーションでは、聴覚障害のダンサー SOUL FAMILYが実際に電気刺激デバイスを使用したショートデモンストレーションを発表する他、真鍋大度、照岡正樹、SOUL FAMILY他によるトークショーを行います。

で、このデモンストレーションは、要事前申し込みで、申し込みフォームが結構見つけづらいところにある *1 ので、ここに直接リンクを貼っておきます。

http://www.paratriennale.net/post-118/

申し込み締め切りは 8/6（明日！）です。

システム構成とか

ちなみにデモンストレーションのシステム構成はこんな感じになってます。

ピリピリデバイスを BLE で制御するのはダンサー用 app で、母艦の MBP から OSC でコントロールできるようになっています。（母艦からコントロールするのは再生開始／停止、曲の選択等々で、ピリピリデバイスの制御自体はiOSアプリがスタンドアロンで行う）

また、ダンサーの感じている電気刺激をピリピリデバイスなしで体感できるよう、バイブで疑似体験できるアプリも準備中です。こちらは、台数やら会場インフラやら距離やらを考慮して、音響電子透かしという、非可聴域の音波を利用して、音に情報を埋め込む技術 *2 を用いて、再生タイミングの同期を行います。

FAQ

Q: なぜスマホアプリなのか？

もともとPCからステレオケーブルで繋いで使う有線ピリピリデバイスは真鍋さん＆石橋さん＆照岡さんで以前開発したものがあって、ポータブル化する（ダンサーが身につけられるようにする）というのが今回の新規開発のテーマでした。

無線で電気刺激コマンドを送る、のであればPCからでもいいのですが、ダンサーがダンスするためにPCも必要になるよりはスマホひとつでできた方が「ポータブル」だし、WiFiがない場所でも使用可能という点でBLE、ということなのかなと。 *3

Q: 今までどうやって踊っていたのか？

このデバイスが出来る前から SOUL FAMILY はダンスをしていたわけで、メンバーの佐山さんに聴いてみたところ、

音楽が会場に大音量で流れることによる振動を感じて踊る
多少聴こえるメンバーの動きを見て踊る

みたいな感じだそうです。すごい。

Facebook での佐山さんの告知ポスト。

ついに夢が叶います。音楽が上手く聞く事が出来ず、
フラットに音楽を感じる事が出来ず悩んでいた。
真鍋さんと出会い、いろんな方の協力でついに
夢のデバイスが出来ました。ぜひ皆さん見に来てください！

まだまだ「音楽を感じる」には改善の余地があるのでがんばります。

Q: なぜ電気なのか？

これ僕も当初よくわかってなくて、他の刺激でもいいけど真鍋さんといえば電気、みたいな感じで電気なのかなぐらいに思ってたのですが、ピリピリデバイスをつくった照岡さんが言ってたのは、刺激が処理される速度（？）が、電気が一番早いんだそうです。他の、たとえば叩くような刺激だと、それがいったん脳で処理されて、それが云々かんぬん、で遅いと。