PROJECTS

e2 mask Z
顔の表情をアバターにリアルタイムに反映して表示するデジタルカメン
Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays
2020
竹川佳成（公立はこだて未来大学），徳田雄嵩（フリーランス），梅澤章乃（公立はこだて未来大学），鈴木克洋，正井克俊，杉浦裕太，杉本麻樹（慶應義塾大学），Diego Martinez，Sriram Subramanian（University College London），平田圭二（公立はこだて未来大学）
Yoshinari Takegawa (Future University, Hakodate), Yutaka Tokuda (Freelance), Akino Umezawa (Future University, Hakodate), Katsuhiro Suzuki, Katsutoshi Masai, Yuta Sugiura, Maki Sugimoto (Keio University), Diego Martinez, Sriram Subramanian (University College of London), Keiji Hirata (Future University Hakodate)

[Reference /引用はこちら]
Yoshinari Takegawa, Yutaka Tokuda, Akino Umezawa, Katsuhiro Suzuki, Katsutoshi Masai, Yuta Sugiura, Maki Sugimoto, Diego Martinez Plasencia, Sriram Subramanian, Keiji Hirata, Digital Full-Face Mask Display with Expression RecognitionusingEmbedded Photo Reflective Sensor Arrays, International Symposium on Mixed and Augmented Reality 2020（ISMAR 2020）, IEEE, 101-108. [DOI]

仮面は装着者の顔を「仮の顔」で覆う事によって正体を隠し、新たなペルソナを創造・表現するメディアとして儀式、祭礼、演劇等の特殊な行事で一般的に用いられてきました。また一方で、感染防止対策等の衛生目的で使われた歴史もあります。デジタルカメンは従来のアナログな仮面では困難な「仮の顔」を用いた表情豊かな対面コミュニーケーションを可能にした装着型表情拡張デバイスです。
デジタルカメンは、表面に「仮の顔」として好みのCGキャラクター（アバター）を表示する軽量薄型有機ELディスプレイを搭載し、裏面に装着者の表情の変化を測定する反射型フォトセンサアレイ40個を組込んでいます。表情の変化に伴う顔の各部位における皮膚の微小変位をセンサアレイで計測し、サポートベクターマシン（SVM）を用いた表情認識モデルを構築する事で、装着者の表情（真顔、笑顔、怒顔、泣顔、驚顔）および口の動き（あ、い、う、え、お）をリアルタイムでアバターの表情へと反映させます。実験では、平均79%の認識精度を達成し、被験者からは自身の表情や発話が違和感なくアバターの表情に反映されたという評価が得られました。
新型コロナ時代、マスクを介した対面コミュニケーションがニューノーマルになる一方、表情の変化を手掛かりとした感情表現や意思疎通が困難になり、非言語的コミュニケーションの重要性が改めて見直されてきています。デジタルカメンは、マスク装着に伴うコミュニケーションの問題を補うだけでなく、ペルソナや表情を実世界で自在に拡張できるため、新しいコミュニケーションの様式を創出できます。特に、筋萎縮性側索硬化症（ALS）患者の多様な表情生成支援、歯科治療時における小児患者の不安軽減、面接時の意思疎通の促進、接客業の感情労働の軽減等、対面コミュニケーションに関わる社会的課題解決の手段として本技術を活用できると考えています。

This paper presents a thin digital full-face mask display that can reflect an entire facial expression of a user onto an avatar to support augmented face-to-face communication in real environments. Although camera-based facial expression recognition technology has enabled people to augment their faces with avatars, application was limited to face-to-face communication in virtual environments. To enable digital facial augmentation with an avatar in a real space}, we propose a digital face mask display system that integrates a lightweight flexible display with a thin facial expression recognition system. The thin wearable facial expression recognition system was implemented with photo reflective sensor arrays which can measure facial expressions at 40 feature points distributed across an entire face. We investigated a ten-class facial expression identification model based on an SVM training algorithm. The trained model achieved an average accuracy of 79% when identifying the facial expressions of multiple users. User experiments indicated that the proposed thin digital full-face mask display allows the wearer to control the facial expression of the avatar with a fast response rate and create a positive sense of self-agency and self-ownership toward the augmented avatar face.