A Thumb Tip Wearable Device Consisting of Multiple Cameras to Measure Thumb Posture
Naoto Ienaga, Wataru Kawai, Natsuki Miyata, Koji Fujita, Yuta Sugiura, Hideo Saito
[Reference /引用はこちら]
Naoto Ienaga, Wataru Kawai, Natsuki Miyata, Koji Fujita, Yuta Sugiura, Hideo Saito, A Thumb Tip Wearable Device Consisting of Multiple Cameras to Measure Thumb Posture, International Workshop on Attention/Intention Understanding (AIU2018), ACCV2018, pp, 31-38, December2-6, 2019, Perth, Australia. [DOI]
近年，カメラはより小型で安価になり様々な目的のため利用可能になってきた．我々は小型カメラを利用して，親指の関節角の推定をするための親指先端装着型デバイスを開発した．指の姿勢計測は，インタフェースや人の行動解析のために重要である．我々が開発したデバイスは，異なる角度で設置された3つの小型カメラで構成される．これより親指以外の4本の指を撮影する．親指の関節角が変われば，親指の先端に装着されたカメラから見える親指以外の指の状態も変わると我々は仮定したため，親指以外の指が撮影できるようにカメラをデバイスに取り付けた．親指の関節角とカメラから取得した画像の回帰関係を，畳み込みニューラルネットワークで学習した．親指の関節角は，USBセンサデバイスで取得した親指のキーポイントの3次元位置から計算した．テストデータにおける親指の2つの関節角の平均二乗誤差平方根はそれぞれ，6.23度と4.75度であった．
Today, cameras have become smaller and cheaper and can be utilized in various scenes. We took advantage of that to develop a thumb tip wearable device to estimate joint angles of a thumb as measuring human finger postures is important in terms of human-computer interface and to analyze human behavior. The device we developed consists of three small cameras attached at different angles so the cameras can capture the four fingers. We assumed that the appearance of the four fingers would change depending on the joint angles of the thumb. We made a convolutional neural network learn a regression relationship between the joint angles of the thumb and the images taken by the cameras. In this paper, we captured the keypoint positions of the thumb with a USB sensor device and calculated the joint angles to construct a dataset. The root mean squared error of the test data was 6.23 and 4.75 degrees.