PROJECTS

[Reference /引用はこちら]
Kana Matsuo, Chengshuo Xia, Yuta Sugiura, VirSen1.0: Toward sensor configuration recommendation in an interactive optical sensor simulator for human gesture recognition, International Journal of the Digital Human. [DOI]

ジェスチャ認識システムは、健康管理やスポーツ、エンターテイメントなど、幅広い分野で使用されている。このようなシステムは、実世界上にセンサを設置することで人間の動きを計測し、そのセンサデータを元に識別器を学習することで実現されている。しかし、実世界でのジェスチャ認識システムを構築する際には適切なセンサの個数や配置を決定するために、開発者は実世界上で様々なセンサ配置や個数を変えながらデバイスを試作し、データ計測を行う必要があった。もし、センサをバーチャル空間上でシミュレーションできれば、実世界上でこれらを行う手間なしに様々なセンサ配置や個数をテストすることが可能である。本論文では光センサをバーチャル空間でインタラクティブに配置できるユーザインタフェースである、VirSen1.0を提案した。提案システム上では、シミュレータがバーチャルな光センサと、実世界上の人間に対応するアバタの動きを再現することができる。機械学習の分類器を訓練するために、シュミレータ上でバーチャルにセンサデータを取得することが可能になった。また、インタフェース上で識別精度の向上への貢献度が高いセンサを可視化することができ、各センサが分類器に与える影響について利用者にフィードバックを行うことができる。視覚的なフィードバックの有効性を調査するために、ユーザ実験(N=16)を行った。この実験はセンサの貢献度のフィードバックがある群と、ない群の2群に分けて行った。結果として、被験者はインタフェース上でセンサ配置の試行錯誤を行う中で、センサ貢献度のフィードバックがある群の精度は改善した。また、システム使用者の心理的な負荷を計測するNASA-TLXによって評価を行ったところ、7つのすべての評価項目でセンサ貢献度のフィードバックがある群の方が負荷が下がり、時間的な切迫感とフラストレーションを計測する評価項目では有意な影響が見られた。これらは提案システムのフィードバックの有効性を示している。将来的には、ユーザからのフィードバックに基づいてシミュレータを改善し、学習精度を向上させるためのセンサ配置のフィードバックを追加していく。加えて光センサだけでなくIMUセンサもシミュレートする方向で拡張していく予定である。

Research is underway on the use of sensor simulation in generating sensor data to design a real-world human gesture recognition system. The overall development process suffers from poor interactive performance, because developers lack an efficient tool to support the sensor configuration, result checking, and trial-and-error that arise when designing a machine learning system. Hence, we have developed VirSen1.0, a virtual environment with a user interface to support the process of designing a sensor-based human gesture recognition system. In this environment, a simulator produces lightness data and combines it with an avatar's motion to train a classifier. Then, the interface visualises the importance of the features used for the model, via the permutation feature importance, and it provides feedback on the effect of each sensor to the classifier. This paper proposes a complete development process, from acquisition of learning data to creation of a learning model, using a single software tool. Additionally, a user study confirmed that by visualising the importance of the features used in the model, users can create learning models that achieve a certain level of accuracy.