聴覚情報を主体としたSubstitutional Reality System を用いた会話型システムの提案
lifting the barrier between alternate realities through audio and haptic feedback
Kevin Fan, Hideyuki Izumi, Yuta Sugiura, Kouta Minamizawa, Sohei Wakisaka, Masahiko Inami, Naotaka Fujii, and Susumu Tachi

本研究は、予め記録された情報とリアルタイムに音声、および触覚フィードバックを混在させユーザに呈示することにより、記録情報と現実の境界線を曖昧にし、どちらも現実に起きている事象として「会話」が体験できるシステム Reality Jockey を提案する。本システムは、記録情報を現在に呈示するために録音された音声および周辺の振動音と、現在生じている事象を混在させるために必要なリアルタイムの音声を、ヘッドフォンと振動子を通して相互にクロスフェードできる機能を備えている。その結果、ユーザは現実には起きていない会話を「本当に目の前で会話されている」かのような錯覚に陥る体験を得る。

We present Reality Jockey, a system that confuses the participant's perception of the reality by mixing in a recorded past-reality. The participant will be immersed in a spatialized 3D sound environment that is a mix of sounds from the reality and from the past. The sound environment from the past is augmented with haptic feedback in cross-modality. The haptic feedback is associated with certain sounds such as the vibration in the table when stuff is placed on the table to make the illusion of it happening in live. The seamless transition between live and past creates immersive experience of past events. The blending of live and past allows interactivity. To validate our system, we conducted user studies on 1) does blending live sensations improve such experiences, and 2) how beneficial is it to provide haptic feedbacks in recorded pasts. Potential applications are suggested to illustrate the significance of Reality Jockey.