PROJECTS

 

[引用はこちら/Reference]
Yukina Sato*, Takashi Amesaka*, Takumi Yamamoto, Hiroki Watanabe, Yuta Sugiura, Exploring User-Defined Gestures as Input for Hearables and Recognizing of Ear-Level Gestures by IMUs, Proceedings of the ACM on Human-Computer Interaction (PACMHCI), Vol.8., No. MHCI, Article 258 (Sep. 2024), 23 pages. (* these authors contributed equally) [DOI]

ヒアラブルは高機能なイヤホン型ウェアラブルデバイスとして注目されているが、既存のヒアラブル単体での入力方法ではコマンド数に限界があり、ハンドジェスチャによるデバイス操作の拡張が求められている。手指入力のためのヒアラブルに関するこれまでの研究では、ユーザ理解やジェスチャ認識システムが開発されてきた。本研究では、6種の条件（3種のインタラクションエリア×2種のデバイス形状）において、ヒアラブルを用いたハンド入力を想定したジェスチャエリシテーションスタディを行った。そして、ユーザが定義したジェスチャから、デバイスに内蔵されたIMUセンサが認識可能な耳タッチジェスチャを抽出し、認識性能を調査した。座位での実験の結果、インイヤ型デバイスのジェスチャ認識率は91.0%、イヤーフック型デバイスのジェスチャ認識率は74.7%であった。

Hearables are highly functional earphone-type wearables; however, existing input methods using stand-alone hearables are limited in the number of commands, and there is a need to extend device operation through hand gestures. In previous research on hearables for hand input, user understanding and gesture recognition systems have been developed. However, in the realm of user understanding, exploration remains incomplete concerning hand input with hearables, and extant recognition systems have not demonstrated proficiency in discerning user-defined gestures.In this study, we conducted a gesture elicitation study (GES) assuming hand input using hearables under six conditions (three interaction areas × two device shapes). Then, we extracted ear-level gestures that the device's built-in IMU sensor could recognize from the user-defined gestures and investigated recognition performance. The results of the experiments in a sitting experiment showed that the gesture recognition rate for in-ear devices was 91.0%, and for ear-hook devices was 74.7%.