ヘッドマウントディスプレイに装着した光センサによる口元形状の識別
Classification of Mouth Shape Using Optical Sensor Attatched to Head-Mounted Display
2017
中村文彦，鈴木克洋，正井克俊，伊藤勇太，杉浦裕太，杉本麻樹
Fumihiko Nakamura, Katsuhiro Suzuki, Katsutoshi Masai, Yuta Itoh, Yuta Sugiura, Maki Sugimoto
[Reference /引用はこちら]
中村文彦，鈴木克洋，正井克俊，伊藤勇太，杉浦裕太，杉本麻樹，母音認識を用いた訓練データの自動ラベリングに基づくHMD組み込み型光センサでの口元形状認識，バーチャルリアリティ学会論文誌，Vol.22，No.4，pp.523-534．[DOI]
本研究では口元形状を学習する時には音声から認識した母音を用いて口元形状を計測したセンサ値にラベリングする自動的な訓練データの取得法を提案する。また、HMDに組み込んだ光センサを用いてHMD装着者の唇や頬を含めた口元形状を発声の有無に関わらず常時計測して認識する手法を提案する。
Facial occlusions caused by HMD (Head-Mounted Display) make capturing user's face hard. In this paper, we propose a technique to classify the mouth shapes into 6 classes using optical sensors embedded in HMD and give labels to training dataset by vowel recognition. We conducted an experiment with 5 subjects to compare recognition rates of machine learning in manual labeling and automated labeling conditions. The result shows that proposed method achieved an average of 99.9% classification accuracy in the manual labeling condition, and of 96.3% classification accuracy in the automated labeling condition.