クロスモーダルな仮想現実

 
バーチャルリアリティの総合プロデュースを手がけるソリッドレイ研究所は、仮想空間の水を実際の紙コップで触感刺激として感じることができるシステムを公開した。

画像


このシステムは、12月5日から7日にかけてパシフィコ横浜にて行われた、「ビジュアルメディアExpo2012」に出展された。大スクリーンに写し出された、初音ミク似のキャラクターの女の子が水瓶から注ぐ水を、3Dメガネをかけた体験者がコップでその水を受けると、あたかも本当に水がそこに入ってくるように知覚するというもの。

実際には、コップにはセンサーと同期して、水を受けたと感知すると、コップに繋いだケーブルで信号を送り、コップがただ振動するだけなのだけれど、体験者はその振動を単なる振動とだけとは感じずに、水が注がれているようなリアルな触感覚を得るらしい。

人間には、例えば、視覚と聴覚で互いに矛盾した情報を同時に受け取ったとき、視覚情報を優先させて受け取ってしまうことが知られている。



その代表的な例が腹話術。腹話術は、腹話術師の口元から発せられているはずのセリフが、腹話術師が手に持った人形から発せられているかのように聞こえる現象なのだけれど、実際は、腹話術師は口を動かさずに音だけ出し、人形は、口が動いていて音は出していない。本来であれば、音は腹話術師の口元から聞こえている筈なのだけれど、それを見た観客は、腹話術師が手にもった人形が喋っているように錯覚してしまう。これは、音源がどこにあるという聴覚情報が腹話術人形という視覚情報に引きずられて知覚情報が変容しているということ。

この声を聞いていると思っていても、実際には視覚情報の影響を強く受けている現象は「マガーク効果(McGurk effect)」と呼ばれ、イギリスの心理学者ハリー・マガーク(Harry McGurk)とジョン・マクドナルド(John MacDonald) によって1976年に発表された。

マガークとマクドナルドは、「が、が・・・」と発音している人物の映像を取り、そこから「が、が・・・」の音声だけを消して、代わりに「ば、ば・・・」と発音している音声を被せた映像をスクリーンに映し出して、被験者に対して、どう聞こえるかの実験を行った。すると、被験者は一様に「だ、だ・・・」と聞こえたと報告した。次に、被験者に目を閉じるように指示して、同じ実験をすると、今度は「ば、ば・・・」と聞こえたと報告した。

この実験結果は、唇の動きという目で見た映像に騙されて、耳から入った音声が、実際とは違った音声に聞こえたことを示しており、視覚と聴覚が矛盾するとき、視覚に矛盾しないように聴覚の解釈が変えられてしまうことをマガークらは示した。

また、これに似た実験として「メラビアンの実験」というものがある。これについては、以前、「ポケモン・コミュニケーション」のエントリーで触れたことがあるのだけれど、「怒った」写真を見せられながら、「悔しそうな」声音で「好き」という言葉を聞かされた被験者は、その言葉を発した人間がどういう感情であったかを記録していくという具合に、音声情報と映像情報で矛盾したものを提示したときの反応を記録して、統計を取ると、表情・身振り・手振りなどの影響が55%、声やトーンなどが33%で、話す内容や言葉は7%という結果となっている。

これなども、聴覚情報が映像情報に引きずられて変容している、つまり「マガーク効果」が表れていることを示している。



このような感覚器官間における相互作用は、視覚と聴覚の間だけでなく、視覚と触覚の間においても同様に生じることが明らかになっている。

「ゴムの手の錯覚」という有名な実験がある。これは、プリンストン大学の認知神経科学者ジョナサン・コーエン(Jonathan Cohen)と、その友人のマシュー・ボトヴィニック(Matthew Botvinick)が1998年に発表した実験。

被験者は椅子に座り、自分の前に置かれた小さなテーブルの左端近くに左手を置く。被験者の頭と左手の間には不透明な遮蔽物が置かれていて、左手は見えなくなるようになっている。

次に実物大のゴム製のダミーの左手を、遮蔽物の手前、被験者側に置き、手元を布切れで覆って、被験者からみて、あたかも自分の左手であるかのようにしておく。

被験者はダミーの左手に視線を集中するように指示しておいて、そのダミーの左手と本当の左手の両方に対して、小指なら小指同士、親指なら親指同士という具合に、同じ部位に対して、刷毛で撫でたり、「千枚通し」でつついたりして、同じ刺激を同時に与えていく。



この刺激を数分続けると、被験者は段々、本当の左手の感触が薄れていって、ダミーの左手への刺激に反応し、ダミーに対する刺激を実際の左手への刺激として感じるようになったという。

更に、この刺激を続けたあとで、被験者を目隠しして、遮蔽物を取り除き、右手を動かして左手に触れるように指示すると、非被験者は、本当の左手ではなくて、ダミーの左手を触りにいったのだという。

技を極めた匠の職人は、自分の道具を指して手足と同じだとよく述べていたりするのも、この実験を聞くとさもありなんという気がする。

これらの知覚の錯覚現象は「クロスモーダル知覚」と呼ばれているのだけれど、今回のVRシステムは、この「クロスモーダル知覚」の応用として開発された。実際、これを体験した人の中は、コップに注がれた"仮想の水"について「冷たい」とか「重い」とか感じたと話している。

こうした「クロスモーダル知覚」を利用して、事故に巻き込まれる"錯覚"を体験することで、危険への予知や注意配分の改善を意図したシステムなども開発されているようだ。

攻殻機動隊やマトリックスのような世界は意外と目の前にまで来ているのかもしれない。

画像



画像

この記事へのコメント


この記事へのトラックバック