[Reference /引用はこちら]
Katsutoshi Masai, Masa Ogata, Yuta Sugiura, Kai Kunze, Masahiko Inami, Maki Sugimoto, Evaluation of Facial Expression Recognition by A Smart Eyewear for Facial Direction Changes, Repeatability and Positional Drift, ACM Trans. Interact. Intell. Syst. 7, 4, Article 15 (December 2017), 23 pages. [DOI]
本研究で提案するシステムは、ウェアラブルな眼鏡型の表情認識デバイスである。日常生活におけるユーザの表情を識別するためには、長時間ユーザを追跡することができる装着性を考慮する必要があるからである。この設計を実装するにあたっては、ユーザの装着性を損ない、視野を妨げる恐れがあるため、装着型カメラを使用することは難しい点がある。そこで、本システムにおいては、表情筋の動きによって眼の周辺に生じる皮膚変形を、複数の反射型光センサによって計測することで表情識別を行う。眼鏡型デバイスのフロントフレームに埋め込まれた多数の反射型光センサを用いて、表情筋の動きによって生じる皮膚変形が与えるセンサと皮膚表面との距離や反射特性の違いを照度情報として取得する。この照度情報に対して機械学習を用いることで頑健な表情識別を可能とする。本研究においては、光センサ情報に基づき識別する表情を次の8つの表情とする。（図2）。8 つの表情の内訳は、無表情、Ekman らが提唱した6 つの普遍表情（幸せ、嫌悪、怒り、驚き、恐怖、悲しみ）と、Matsumoto が普遍的であると主張した表情（軽蔑）とする。本研究では、下記の3 項目を特徴とした研究の実施を行う。（1） ウェアラブルデバイスにより普遍的と考えられている8 つの表情の識別を可能にする。（2） 眼鏡型のフレームに埋め込んだ多数の光センサと機械学習を用いることで、顔形状の異なるユーザにおいても頑健な識別を可能としつつ、社会受容性にも配慮したデバイスの設計を行う。装着性と日常における使用しやすさを考慮した設計を行うことで、ユーザは場所や時間に関わらず装着可能なものにする。（3）提案システムによって日常のユーザの感情を把握できることを示すため、ユーザの表情分布の行動に応じた遷移を記録する。
This paper presents a novel smart eyewear that uses embedded photo reflective sensors and machine learning to recognize a wearer’s facial expressions in daily life. We leverage the skin deformation when wearers change their facial expressions. With small photo reflective sensors, we measure the proximity between the skin surface on a face and the eyewear frame where 17 sensors are integrated. A Support Vector Machine (SVM) algorithm was applied for the sensor information. The sensors can cover various facial muscle movements and can be integrated into everyday glasses. The main contributions of our work are as follows. (1) The eyewear recognizes eight facial expressions (92.8% accuracy for one time use and 78.1% for use on 3 different days). (2) It is designed and implemented considering social acceptability. The device looks like normal eyewear, so users can wear it anytime, anywhere. (3) Initial field trials in daily life were undertaken. Our work is one of the first attempts to recognize and evaluate a variety of facial expressions in the form of an unobtrusive wearable device.