Ubiquitous Media Lab. / 平＃研究室 > 研究プロジェクト > RapTapBath: 浴槽叩打音による操作システム

RapTapBath: 浴槽叩打音による操作システム

RapTapBath


TubTouchの静電容量センサを浴槽内部に埋め込むことを行っていたのに対し、この研究では代わりにピエゾセンサを取り付けて、浴槽を叩いた音を直接に振動（音響信号）として計測します。そしてその音を信号処理技術を通じてユーザインタフェースイベントとして検出することで、浴槽縁を操作インタフェースと化する技術です。検出できる操作イベントとしては、叩打位置（叩く場所）、叩打音色（叩き方）、叩打パターン（叩くリズム）の3種類が利用可能です。その検出結果を操作イベントとして、既存機器のコントロールや、アプリケーションの操作に用いたり、様々な応用ができるユーザインタフェースシステムとなっています。

システム処理フロー

叩打位置（叩く場所）検出処理
　複数設置したピエゾセンサを用い、叩打位置からの振動の到達時間差を用いて位置を算出しています。単なる波形の振幅では検出がうまくできないので、移動実効値法（Running Root Mean Square Method）による瞬時振幅エネルギーを用いて振動の到達時刻を求めて位置を算出します。
叩打音色（叩き方）判別処理
　指先や爪先、拳、指関節部など、叩く手指の部位によって音色が違うことを利用して、叩打音の周波数成分からニューラルネットワーク（NN）で音色識別を行います。同じ場所を叩く場合でも、叩き方によって別の入力として利用できるようになります。なお、当初は非負値行列因子分解（NMF: Non-negative Matrix Factorization）を適用した手法で処理していましたが、最終的にはNNのほうが識別性能が高かったので、NNを用いています。
叩打パターン（叩くリズム）認識処理
　2連打や3連打の検出や、もう少し高度なリズム（タンタタ、タタンタなど）の認識が可能です。ここでは、あるリズムパターンを構成する最初と最後の叩打音からその間に叩かれた各音の時間位置を確率密度関数を用いてリズムパターンを認識します。

TubTouchのような、浴槽縁にメニュー表示を行い、機器操作を行うことはもちろん可能です。ここでは、単に機器操作だけでなく、叩く行為ならではのアプリケーションとして、モグラ叩きゲームや、浴槽打楽器BathDrum、早押しボタンなどを作成しています。

対外発表
  • 隅田智之, 伊藤大毅, 川勝椋介, 平井重行, RapTapBath: 埋込み振動センサを用いた浴槽縁叩打音ユーザインタフェースシステム, ヒューマンインタフェース学会論文誌 Vol. 24, No. 2, pp107-120 (2022)
  • Tomoyuki Sumida, Shigeyuki Hirai, Daiki Ito and Ryosuke Kawakatsu, RapTapBath: User Interface System by Tapping on a Bathtub Edge Utilizing Embedded Acoustic Sensors, In Proc. of ISS2017, pp.181-190 (2017)
  • 隅田智之, 伊藤大毅, 川勝椋介, 平井重行: 浴槽叩打音を利用した浴室でのインタラクション手法, 情報処理学会インタラクション2017論文集（2017）
  • Tomoyuki Sumida and Shigeyuki Hirai, BathDrum2: Percussion Instruments on a Bathtub Edge with Low Latency Tap Tone Identification, Proc. of ACE2016 (2016)
  • 平井重行, 隅田智之, 川勝椋介: 音響入力を利用した実世界指向の低レイテンシ入力インタフェース技術 -叩打音やこすり音を具体例として-, CEDEC 2016 (2016) [slide]
  • 隅田智之, 平井重行: 浴槽縁上での叩打音色識別によるユーザインタフェース, 情報処理学会インタラクション2016論文集, インタラクティブ発表 2B38 (2016)
  • 隅田智之, 平井重行: 浴槽打楽器BathDrum2の叩打音色識別精度の向上, 情報処理学会研究報告 2016-MUS-110-2 (2016)
  • Shigeyuki Hirai and Daiki Ito, Entertainment Applications for Tapping on a Bathtub Edge Using Embedded Acoustic Sensors, Proc. of ACE2015 (2015) 【Gold Poster Award受賞】
  • 伊藤大毅, 平井重行: 叩打音を利用した操作インタフェースと浴槽への適用, 情報処理学会第77回全国大会講演論文集, 2ZA-03 (2015) 【学生奨励賞受賞】
  • 伊藤大毅, 平井重行: BathDrum2: 叩打位置と音色を利用した浴槽打楽器, 情報処理学会研究報告 2015-MUS-106-19/2015-EC-35-19 (2015)
  • Daiki Ito and Shigeyuki Hirai, Tap Location User Interface on a Bathtub Edge Using Embedded Acoustic Sensors, Proc. of AmI2014 (2014)
  • 平井重行, 伊藤大毅, 橋岡良: 日常生活ユビキタス環境を利用したUIとエンタテインメントの研究 – 浴槽に触れる・擦る・叩くこととその応用, CEDEC 2014 インタラクティブセッション発表 (2014) [poster]
  • 伊藤大毅, 平井重行: 叩打音を利用した操作インタフェースと浴槽への適用, WISS2013論文集, pp.149-150 (2013) [pdf]
  • 伊藤大毅, 平井重行: 浴槽叩打音を利用したお風呂ドラムBathDrumの叩打位置検出, 情報処理学会研究報告2013-EC-29-1 (2013)
作品展示、メディア取材・出演など
このエントリーをはてなブックマークに追加
LINEで送る