PROJECTS

[引用はこちら / Reference]
Takumi Yamamoto*, Naoharu Sawada*, Yukina Sato, Takashi Amesaka, Yuta Sugiura, Selfie WanD: Designing User-Defined Gestures for Selfie Stick Photography and Gesture Recognition Using a Smartphone’s Built-in IMU, International Journal of Human–Computer Interaction, 1–21, 2025. *These authors contributed equally [DOI]

本研究では，自撮り棒におけるジェスチャ操作の可能性を探究する．まず，自撮り棒を用いた写真撮影における直感的なジェスチャを明らかにするため，20名の参加者を対象としたGesture Elicitation Study（GES）を実施した．本GESでは，自撮り棒の「動き」と「タッチ」の両方を許可する条件と，「動き」のみを用いる条件の2条件を設定し，撮影操作に適したジェスチャを収集した．
次に，GESの結果に基づき，「動きのみ」を用いる条件に着目し，ユーザ定義ジェスチャを認識するシステムを実装した．本システムでは，スマートフォンに内蔵されたIMUセンサを用い，自撮り棒の動きを入力として機械学習モデルを構築した．10種類のジェスチャを対象として，別途実施したユーザスタディ（N＝10）によりデータを収集し，立位状態で取得したデータを用いてモデルを学習した．評価には参加者間のleave-one-out交差検証を用いた．
その結果，立位条件において99.7%のジェスチャ識別精度を達成した．さらに，歩行状態の違いや自撮り棒の長さ，種類の違いといった条件変化に対しても高い識別性能を示し，自撮り棒を用いたジェスチャ操作が写真撮影体験を拡張する有効な手段であることを示した．

This study explores the possibility of gestural interaction on selfie sticks. We conducted a gesture elicitation study (GES) for selfie stick photography with 20 participants to identify intuitive gestures under two conditions: one allowing both movement and touch of the selfie stick, and one allowing only gestures involving its movement. Based on these findings, we implemented a system using a smartphone's built-in IMU sensor and created a machine-learning model to recognize user-defined gestures in the movement-only condition. We collected data for ten gesture types through a user study (N = 10). The model was trained on data recorded in the standing condition and evaluated using leave-one-out cross-validation across participants, achieving a classification accuracy of 99.7%. Moreover, the model demonstrated robust performance under variations in user walking behavior, selfie stick length, and stick type, indicating the feasibility of gesture-based interaction for enhancing selfie stick photography.