RapTapBath: 浴槽叩打音による入力システム

RapTapBath


 この研究では、TubTouchの静電容量センサを浴槽内部に埋め込むことを行っていたのに対し、代わりにピエゾセンサを取り付けて、浴槽を叩いた音を直接に振動(音響信号)として計測し、信号処理することで操作インタフェースにするものです。操作インタフェースとしては、3種類の入力手法が利用でき、叩打位置(叩く場所)、叩打音色(叩き方)、叩打パターン(叩くリズム)をそれぞれ処理することが可能です。その処理結果を操作イベントとして、既存機器のコントロールや、様々な応用に用いることができるシステムとなっています。

システム処理フロー

叩打位置(叩く場所)検出処理
 複数設置したピエゾセンサを用い、叩打位置からの振動の到達時間差を用いて位置を算出しています。単なる波形の振幅では検出がうまくできないので、移動実効値法(Running Root Mean Square Method)による瞬時振幅エネルギーを用いて振動の到達時刻を求めて位置を算出します。
叩打音色(叩き方)判別処理
 指先や爪先、拳、指関節部など、叩く部位によって音色が変わります。非負値行列因子分解(NMF: Non-negative Matrix Factorization)を用いて、周波数領域で各音色に似たものを求めるという手法で音色判別を行います。当初、NMFの処理はPosessingDrums公開プログラムを改造して適用していましたが、現在は独自実装したNMF処理となっています。
叩打パターン(叩くリズム)認識処理
 2連打や3連打の検出や、もう少し高度なリズム(タンタタ、タタンタなど)の認識が可能です。ここでは、あるリズムパターンを構成する最初と最後の叩打音からその間に叩かれた各音の時間位置を確率密度関数を用いてリズムパターンを認識します。

 TubTouchのような、浴槽縁にメニュー表示を行い、機器操作を行うことはもちろん可能です。ここでは、単に機器操作だけでなく、叩く行為ならではのアプリケーションとして、モグラ叩きゲームや、浴槽打楽器BathDrum、早押しボタンなどを作成しています。

対外発表
  • Tomoyuki Sumida, Shigeyuki Hirai, Daiki Ito and Ryosuke Kawakatsu, RapTapBath: User Interface System by Tapping on a Bathtub Edge Utilizing Embedded Acoustic Sensors, In Proc. of ISS2017, pp.181-190 (2017)
  • 隅田智之, 伊藤大毅, 川勝椋介, 平井重行: 浴槽叩打音を利用した浴室でのインタラクション手法, 情報処理学会インタラクション2017論文集(2017)
  • Tomoyuki Sumida and Shigeyuki Hirai, BathDrum2: Percussion Instruments on a Bathtub Edge with Low Latency Tap Tone Identification, Proc. of ACE2016 (2016)
  • 平井重行, 隅田智之, 川勝椋介: 音響入力を利用した実世界指向の低レイテンシ入力インタフェース技術 -叩打音やこすり音を具体例として-, CEDEC 2016 (2016) [slide]
  • 隅田智之, 平井重行: 浴槽縁上での叩打音色識別によるユーザインタフェース, 情報処理学会インタラクション2016論文集, インタラクティブ発表 2B38 (2016)
  • 隅田智之, 平井重行: 浴槽打楽器BathDrum2の叩打音色識別精度の向上, 情報処理学会研究報告 2016-MUS-110-2 (2016)
  • Shigeyuki Hirai and Daiki Ito, Entertainment Applications for Tapping on a Bathtub Edge Using Embedded Acoustic Sensors, Proc. of ACE2015 (2015) 【Gold Poster Award受賞】
  • 伊藤大毅, 平井重行: 叩打音を利用した操作インタフェースと浴槽への適用, 情報処理学会第77回全国大会講演論文集, 2ZA-03 (2015) 【学生奨励賞受賞】
  • 伊藤大毅, 平井重行: BathDrum2: 叩打位置と音色を利用した浴槽打楽器, 情報処理学会研究報告 2015-MUS-106-19/2015-EC-35-19 (2015)
  • Daiki Ito and Shigeyuki Hirai, Tap Location User Interface on a Bathtub Edge Using Embedded Acoustic Sensors, Proc. of AmI2014 (2014)
  • 平井重行, 伊藤大毅, 橋岡良: 日常生活ユビキタス環境を利用したUIとエンタテインメントの研究 – 浴槽に触れる・擦る・叩くこととその応用, CEDEC 2014 インタラクティブセッション発表 (2014) [poster]
  • 伊藤大毅, 平井重行: 叩打音を利用した操作インタフェースと浴槽への適用, WISS2013論文集, pp.149-150 (2013) [pdf]
  • 伊藤大毅, 平井重行: 浴槽叩打音を利用したお風呂ドラムBathDrumの叩打位置検出, 情報処理学会研究報告2013-EC-29-1 (2013)
作品展示、メディア取材・出演など
Facebook にシェア
[`evernote` not found]
LINEで送る